(57)【要約】  解剖学的領域のビデオ画像のコンテンツ管理の方法及びそのためのシステムの様々な態様を本明細書に開示する。本発明の開示の実施形態により、本方法は、画像取り込みデバイスに通信的に結合されたコンテンツ処理デバイスに実施可能である。本方法は、解剖学的領域のビデオ画像内の１又は２以上の非組織領域の識別を含む。ビデオ画像は、画像取り込みデバイスによって発生される。その後に、１又は２以上のコンテンツ識別子が、識別された１又は２以上の非組織領域に対して決定される。更に、決定された１又は２以上のコンテンツ識別子の各々は、識別された１又は２以上の非組織領域に対応する、対応する非組織領域に関連付けられる。【選択図】図１
2018517950.tif 000002
【特許請求の範囲】
【請求項１】
解剖学的領域のビデオ画像のコンテンツ管理のためのシステムであって、
画像取り込みデバイスに通信的に結合されたコンテンツ処理デバイス内の１又は２以上の回路、
を含み、
前記１又は２以上の回路は、
前記画像取り込みデバイスによって発生された解剖学的領域のビデオ画像内の１又は２以上の非組織領域を識別し、
前記識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定し、かつ
前記決定された１又は２以上のコンテンツ識別子の各々を前記識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付ける、
ように構成される、
ことを特徴とするシステム。
【請求項２】
前記識別された１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域のうちの１又は２以上を含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記１又は２以上の回路は、前記対応する非組織領域に関連付けられた前記決定された１又は２以上のコンテンツ識別子の各々に基づいて前記ビデオ画像内の前記識別された１又は２以上の非組織領域の各々に対して指標を発生させるように更に構成されることを特徴とする請求項１に記載のシステム。
【請求項４】
前記１又は２以上の回路は、１又は２以上の検索語を含むクエリを受信するように更に構成され、
前記１又は２以上の検索語は、少なくとも第１のコンテンツ識別子に関連付けられる、
ことを特徴とする請求項１に記載のシステム。
【請求項５】
前記１又は２以上の回路は、自然言語処理技術又はテキスト処理技術を用いて前記１又は２以上の検索語に関連付けられた前記第１のコンテンツ識別子を決定するように更に構成されることを特徴とする請求項４に記載のシステム。
【請求項６】
前記１又は２以上の回路は、前記第１のコンテンツ識別子に基づいて前記ビデオ画像から１又は２以上のビデオ画像部分を取り出すように更に構成され、
前記取り出された１又は２以上のビデオ画像部分は、前記第１のコンテンツ識別子に対応する、前記識別された１又は２以上の非組織領域からの少なくとも第１の非組織領域を含む、
ことを特徴とする請求項４に記載のシステム。
【請求項７】
前記１又は２以上の回路は、前記取り出された１又は２以上のビデオ画像部分を表示するように更に構成されることを特徴とする請求項６に記載のシステム。
【請求項８】
前記１又は２以上の回路は、前記表示された１又は２以上のビデオ画像部分内の前記第１の非組織領域をマスキング／強調表示するように更に構成されることを特徴とする請求項７に記載のシステム。
【請求項９】
前記取り出された１又は２以上のビデオ画像部分は、ピクチャー・オン・ピクチャーインタフェース又はピクチャ−・イン・ピクチャーインタフェースを通じて表示されることを特徴とする請求項７に記載のシステム。
【請求項１０】
前記１又は２以上の回路は、前記取り出された１又は２以上のビデオ画像部分からの第１のビデオ画像部分を含む前記ビデオ画像に対応するタイムスタンプを表示するように更に構成されることを特徴とする請求項６に記載のシステム。
【請求項１１】
前記第１のビデオ画像部分は、前記ビデオ画像内の少なくとも事象の発生に対応することを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記事象は、前記ビデオ画像内の前記第１の非組織領域の最初の出現、該ビデオ画像内の該第１の非組織領域の最後の出現、該第１の非組織領域の組織領域との近接性、及び／又は該第１の非組織領域の前記１又は２以上の非組織領域のうちの別の非組織領域との別の近接性のうちの１つを含むことを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記１又は２以上の検索語は、少なくとも前記事象の前記発生と更に関連付けられることを特徴とする請求項１１に記載のシステム。
【請求項１４】
前記１又は２以上の回路は、前記識別された１又は２以上の非組織領域、前記決定された１又は２以上のコンテンツ識別子、及び該決定された１又は２以上のコンテンツ識別子の各々の前記対応する非組織領域との前記関連付けに基づいて機械学習を実行するように更に構成されることを特徴とする請求項１に記載のシステム。
【請求項１５】
解剖学的領域のビデオ画像のコンテンツ管理の方法であって、
画像取り込みデバイスに通信的に結合されたコンテンツ処理デバイスにおいて、
前記画像取り込みデバイスによって発生された解剖学的領域のビデオ画像内の１又は２以上の非組織領域を識別する段階と、
前記識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定する段階と、
前記決定された前記１又は２以上のコンテンツ識別子の各々を前記識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付ける段階と、
を含むことを特徴とする方法。
【請求項１６】
前記識別された１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域のうちの１又は２以上を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
少なくとも第１のコンテンツ識別子に関連付けられた１又は２以上の検索語を含むクエリを受信する段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
自然言語処理技術又はテキスト処理技術を用いて、前記１又は２以上の検索語に関連付けられた前記第１のコンテンツ識別子を決定する段階を更に含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記第１のコンテンツ識別子に基づいて前記ビデオ画像から１又は２以上のビデオ画像部分を取り出す段階を更に含み、
前記取り出された１又は２以上のビデオ画像部分は、前記第１のコンテンツ識別子に対応する、前記識別された１又は２以上の非組織領域からの少なくとも第１の非組織領域を含む、
ことを特徴とする請求項１７に記載の方法。
【請求項２０】
前記取り出された１又は２以上のビデオ画像部分を表示する段階を更に含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
解剖学的領域のビデオ画像のコンテンツ管理の方法であって、
コンテンツ処理デバイスに通信的に結合された電子デバイスにおいて、
前記電子デバイスのユーザインタフェース（ＵＩ）を通じて、１又は２以上の検索語を含むクエリを受信する段階であって、該１又は２以上の検索語が、１又は２以上のコンテンツ識別子からの少なくとも１つのコンテンツ識別子に対応する少なくとも第１のコンテンツ識別子に関連付けられ、該１又は２以上のコンテンツ識別子の各々が、解剖学的領域のビデオ画像内で識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付けられ、該ビデオ画像が、前記コンテンツ処理デバイスに通信的に結合された画像取り込みデバイスによって発生される前記受信する段階と、
前記ＵＩを通じて、前記第１のコンテンツ識別子に基づいて前記ビデオ画像から１又は２以上のビデオ画像部分を表示する段階であって、該表示される１又は２以上のビデオ画像部分が、該第１のコンテンツ識別子に対応する、前記１又は２以上の非組織領域からの少なくとも第１の非組織領域を含む前記表示する段階と、
を含むことを特徴とする方法。
【請求項２２】
前記１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域のうちの１又は２以上を含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
コンピュータによって実行可能であり、それによって該コンピュータをして
画像取り込みデバイスに通信的に結合されたコンテンツ処理デバイスにおいて、
前記画像取り込みデバイスによって発生された解剖学的領域のビデオ画像内の１又は２以上の非組織領域を識別する段階と、
前記識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定する段階と、
前記決定された前記１又は２以上のコンテンツ識別子の各々を前記識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付ける段階と、
を含む段階を実行させる少なくとも１つのコードセクションを有するプログラムが格納された非一時的コンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照／引用による組み込み〕
本出願は、これにより引用によってその内容全体が組み込まれる２０１５年３月２日出願の米国仮特許出願第６２／１２６，７５８号に対する優先権を主張するものである。
【０００２】
本発明の開示の様々な実施形態は、コンテンツ管理に関する。より具体的には、本発明の開示の様々な実施形態は、解剖学的領域のビデオ画像のコンテンツ管理に関する。
【背景技術】
【０００３】
最近の医療科学の分野における進歩により、今日では様々な手術手順及び診断手順は、最小侵襲技術を用いて実行することができる。そのような最小侵襲技術は、患者の皮膚上に小さい切開を行うことを必要とする。そのような小さい切開により、内視鏡手術ツール及び／又は腹腔鏡手術ツールを患者の皮膚を通して体腔内に挿入することができる。内視鏡ツール及び／又は腹腔鏡ツールのうちの少なくとも一方は、体腔のビデオ画像を取り込むための内蔵カメラを含む。カメラは、医師が、内視鏡ツール及び／又は腹腔鏡ツールを手術手順又は診断手順が実行される解剖学的領域に到達するように体腔を通してナビゲートすること可能にすることができる。他の内視鏡ツール及び／又は腹腔鏡ツールは、解剖学的領域の組織に対して外科手術を実行することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、そのような手術手順又は診断手順が実行される時には手術画像が記録される。手術画像は、視野内外への手術器具の移動及び／又はガーゼの移動のような様々な進行中活動を有する複雑な手術場面を含む場合がある。ある一定のシナリオでは、複雑な手術場面構成部分におけるかつ進行中活動中の予測不能な状況（組織の出現、組織の運動、組織の変形、突然の出血、及び／又は煙の発生のような）は、センサ画像品質に影響を及ぼすだけではなく、手術又は診断手順効率にも影響を及ぼす場合がある。従って、手術又は診断手順中の手術ナビゲーション補助に向けて手術又は診断手順中に取り込まれた手術画像と手術画像のコンテンツ管理とを理解する必要性が存在する。
【０００５】
従来的手法及び因習的手法の更に別の限界及び欠点は、本出願の残りの部分で図面を参照して示すような本発明の開示の一部の態様との説明するシステムの比較を通して当業者には明らかになるであろう。
【課題を解決するための手段】
【０００６】
特許請求の範囲により完全に列挙するように実質的に図のうちの少なくとも１つに示し、及び／又はそれに関連付けて説明するような解剖学的領域のビデオ画像のコンテンツ管理の方法及びそのためのシステム。
【０００７】
本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の開示の実施形態によるネットワーク環境を示すブロック図である。
【図２】本発明の開示の実施形態による例示的コンテンツ管理サーバを示すブロック図である。
【図３】本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。
【図４】本発明の開示の実施形態によりユーザ端末上に提示することができるユーザインタフェース（ＵＩ）の例示的シナリオを示す図である。
【図５】本発明の開示の実施形態による解剖学的領域のビデオ画像のコンテンツ管理の例示的方法を示す流れ図である。
【図６】本発明の開示の実施形態によるコンテンツ検索の第１の例示的方法を示す第１の例示的流れ図である。
【図７】本発明の開示の実施形態によるコンテンツ検索の第２の例示的方法を示す第２の例示的流れ図である。
【発明を実施するための形態】
【０００９】
以下で説明する実施は、解剖学的領域のビデオ画像のコンテンツ管理のための本発明の開示の方法及びシステムに見出すことができる。本発明の開示の例示的態様は、画像取り込みデバイスに通信的に結合されたコンテンツ処理デバイスに実施可能な方法を含むことができる。本方法は、解剖学的領域のビデオ画像内の１又は２以上の非組織領域の識別を含むことができる。ビデオ画像は、画像取り込みデバイスによって発生させることができる。その後に、識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定することができる。更に、決定された１又は２以上のコンテンツ識別子の各々は、識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付けることができる。
【００１０】
実施形態により、１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域を含むがこれらに限定されない。実施形態により、対応する非組織領域に関連付けられた各決定されたコンテンツ識別子に基づいてビデオ画像内の各識別された非組織領域に対して指標が発生される。
【００１１】
実施形態により、１又は２以上の検索語を含むクエリを受信することができる。１又は２以上の検索語は、第１のコンテンツ識別子に関連付けることができる。実施形態により、第１のコンテンツ識別子は、自然言語処理技術又はテキスト処理技術を用いて１又は２以上の検索語に基づいて決定することができる。その後に、第１のコンテンツ識別子に基づいて、ビデオ画像から１又は２以上のビデオ画像部分を取り出すことができる。取り出された１又は２以上のビデオ画像部分は、識別された非組織領域からの少なくとも第１の非組織領域を含むことができる。第１の非組織領域は、第１のコンテンツ識別子に対応することができる。実施形態により、取り出された１又は２以上のビデオ画像部分は、表示することができる。実施形態により、第１の非組織領域は、表示された１又は２以上のビデオ画像部分内でマスキング／強調表示することができる。実施形態により、取り出された１又は２以上のビデオ画像部分は、ピクチャ−・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェースを通じて表示することができる。
【００１２】
実施形態により、取り出された１又は２以上のビデオ画像部分からの第１のビデオ画像部分を含むビデオ画像に対応するタイムスタンプが表示される。第１のビデオ画像部分は、ビデオ画像内の少なくとも事象の発生に対応することができる。事象の例は、ビデオ画像における第１の非組織領域の最初の出現、ビデオ画像における第１の非組織領域の最後の出現、組織領域との第１の非組織領域の近接性、１又は２以上の非組織領域のうちの別の非組織領域との第１の非組織領域の別の近接性を含むことができるがこれらに限定されない。実施形態により、第１のコンテンツ識別子との関連付けに加えて、１又は２以上の検索語は、発生事象と更に関連付けることができる。
【００１３】
実施形態により、識別された１又は２以上の非組織領域、決定された１又は２以上のコンテンツ識別子、及び非組織領域に対応する決定された１又は２以上のコンテンツ識別子の各々の関連付けに基づいて機械学習を実行することができる。
【００１４】
図１は、本発明の開示の実施形態によるネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、手術デバイス１０２と、コンテンツ管理サーバ１０４と、ビデオデータベース１０６と、ユーザ端末１０８と、通信ネットワーク１１０とを含むことができる。手術デバイス１０２は、通信ネットワーク１１０を通じてコンテンツ管理サーバ１０４、ビデオデータベース１０６、及びユーザ端末１０８に通信的に結合することができる。
【００１５】
手術デバイス１０２は、患者の１又は２以上の解剖学的領域に関する１又は２以上の手術手順及び／又は診断分析を実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。手術デバイス１０２の例は、最小侵襲手術／診断デバイス、最小切開手術／診断デバイス、及び／又は内視鏡／腹腔鏡手術／診断デバイスを含むことができるがこれらに限定されない。
【００１６】
実施形態により、手術デバイス１０２は、患者の解剖学的領域のビデオ画像を取り込むための画像取り込みデバイス（図１には示していない）を更に含むことができる。これに代えて、手術デバイス１０２は、通信ネットワーク１１０を通じて画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスの例は、内視鏡／腹腔鏡カメラ、医療共鳴撮像（ＭＲＩ）デバイス、コンピュータ断層撮像（ＣＴ）走査デバイス、最小侵襲医療撮像デバイス、及び／又は最小切開医療撮像デバイスを含むことができるがこれらに限定されない。
【００１７】
コンテンツ管理サーバ１０４は、ユーザ端末１０８及び／又は手術デバイス１０２等の１又は２以上の認可電子デバイスに解剖学的コンテンツ管理サービスを提供することができる１又は２以上のサーバを含むことができる。実施形態により、１又は２以上のサーバは、当業者に公知のいくつかの技術を用いて複数のクラウドベースのリソースとして実施することができる。更に、１又は２以上のサーバは、１つ又は複数のサービスプロバイダに関連付けることができる。１又は２以上のサーバの例は、Ａｐａｃｈｅ（登録商標）ＨＴＴＰサーバ、Ｍｉｃｒｏｓｏｆｔ（登録商標）インターネット情報サービス（ＩＩＳ）、ＩＢＭ（登録商標）アプリケーションサーバ、Ｓｕｎ  Ｊａｖａ（登録商標）システムウェブサーバ、及び／又はファイルサーバを含むことができるがこれらに限定されない。
【００１８】
当業者は、本発明の開示の範囲が別々のエンティティとしてのコンテンツ管理サーバ１０４と手術デバイス１０２との実施に限定されないことを理解することができる。実施形態により、コンテンツ管理サーバ１０４の機能は、本発明の開示の範囲から逸脱することなく手術デバイス１０２によって実行することができる。
【００１９】
ビデオデータベース１０６は、１又は２以上の患者の１又は２以上の解剖学的領域に対して実施された手術手順又は診断手順のビデオ画像のリポジトリを格納することができる。実施形態により、ビデオデータベース１０６は、コンテンツ管理サーバ１０４に通信的に結合することができる。ビデオデータベース１０６は、コンテンツ管理サーバ１０４を通じて画像取り込みデバイスによって取り込むことができるビデオ画像を受信することができる。実施形態により、ビデオデータベース１０６は、当業技術で公知の様々なデータベース技術を用いて実施することができる。ビデオデータベース１０６の例は、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、Ｏｒａｃｌｅ（登録商標）、ＩＢＭ  ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ａｃｃｅｓｓ（登録商標）、ＰｏｓｔｇｒｅＳＱＬ（登録商標）、ＭｙＳＱＬ（登録商標）、及び／又はＳＱＬｉｔｅ（登録商標）などを含むことができるがこれらに限定されない。実施形態により、コンテンツ管理サーバ１０４は、１又は２以上のプロトコルに基づいてビデオデータベース１０６に接続することができる。そのような１又は２以上のプロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００２０】
当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４とビデオデータベース１０６との実施に限定されないことを理解するであろう。実施形態により、ビデオデータベース１０６の機能は、本発明の開示の範囲から逸脱することなくコンテンツ管理サーバ１０４によって実施することができる。
【００２１】
ユーザ端末１０８は、医師等のユーザにコンテンツ管理のためのユーザインタフェース（ＵＩ）を提示するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ユーザ端末１０８の例は、スマート電話、カメラ、タブレットコンピュータ、ラップトップ、着用可能電子デバイス、テレビジョン、インターネットプロトコルテレビジョン（ＩＰＴＶ）、及び／又は携帯情報端末（ＰＤＡ）デバイスを含むことができるがこれらに限定されない。
【００２２】
当業者は、本発明の開示の範囲が別々のエンティティとしてのユーザ端末１０８とコンテンツ管理サーバ１０４との実施に限定されないことを理解するであろう。実施形態により、コンテンツ管理サーバ１０４の機能は、本発明の開示の精神から逸脱することなくユーザ端末１０８によって実施することができる。例えば、コンテンツ管理サーバ１０４は、ユーザ端末１０８上で実行及び／又はそこにインストールされるアプリケーションプログラムとして実施することができる。
【００２３】
当業者は、実施形態に従ってユーザ端末１０８を手術デバイス１０２と統合することができることを更に理解することができる。これに代えて、ユーザ端末１０８は、手術デバイス１０２に通信的に結合することができ、医師等のユーザ端末１０８のユーザは、ユーザ端末１０８のＵＩを通じて手術デバイス１０２を制御することができる。
【００２４】
通信ネットワーク１１０は、手術デバイス１０２及び／又はユーザ端末１０８がコンテンツ管理サーバ１０４等の１又は２以上のサーバと通信することを可能にする媒体を含むことができる。通信ネットワーク１１０の例は、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、従来の電話サービス（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができるがこれらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な有線及び無線の通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ  ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ(登録商標)（ＢＴ）通信プロトコルを含むことができるがこれらに限定されない。
【００２５】
作動時には、コンテンツ管理サーバ１０４は、解剖学的領域の各ビデオ画像内の１又は２以上の非組織領域を識別するように構成することができる。各ビデオ画像における１又は２以上の非組織領域の識別は、当業技術で公知の１又は２以上の物体認識アルゴリズムに基づいて実行することができる。
【００２６】
コンテンツ管理サーバ１０４は、ビデオ画像内で識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定するように更に構成することができる。その後に、コンテンツ管理サーバ１０４は、決定した１又は２以上のコンテンツ識別子の各々を識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付けることができる。実施形態により、１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域を含むがこれらに限定されない。実施形態により、コンテンツ管理サーバ１０４は、対応する非組織領域に関連付けられた各決定されたコンテンツ識別子に基づいてビデオ画像内の各識別された非組織領域に対して指標を発生させるように構成することができる。ビデオ画像内の指標付きの１又は２以上の非組織領域は、その後の取り出しに向けてビデオデータベース１０６に格納することができる。
【００２７】
実施形態により、コンテンツ管理サーバ１０４は、ユーザ端末１０８からクエリを受信するように構成することができる。クエリは、１又は２以上の検索語を含むことができる。１又は２以上の検索語は、第１のコンテンツ識別子に関連付けることができる。実施形態により、コンテンツ管理サーバ１０４は、自然言語処理技術又はテキスト処理技術を用いて１又は２以上の検索語に基づいて第１のコンテンツ識別子を決定するように構成することができる。
【００２８】
その後に、コンテンツ管理サーバ１０４は、第１のコンテンツ識別子に基づいてビデオ画像から１又は２以上のビデオ画像部分を取り出すことができる。取り出された１又は２以上のビデオ画像部分は、少なくとも、第１のコンテンツ識別子に対応する第１の非組織領域を含むことができる。実施形態により、コンテンツ管理サーバ１０４は、取り出された１又は２以上のビデオ部分をユーザ端末１０８においてそのＵＩを通して医師に対して表示するように構成することができる。実施形態により、コンテンツ管理サーバ１０４は、表示された１又は２以上のビデオ画像部分内で第１の非組織領域をマスキング又は強調表示することができる。実施形態により、取り出された１又は２以上のビデオ画像部分は、ピクチャー・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェースを通じて表示することができる。
【００２９】
実施形態により、コンテンツ管理サーバ１０４は、１又は２以上のビデオ画像からの望ましいビデオ画像に対応するタイムスタンプを表示するように構成することができる。そのようなビデオ画像は、取り出された１又は２以上のビデオ画像部分からの第１のビデオ画像部分を含むことができる。第１のビデオ画像部分は、ビデオ画像における事象の発生に対応することができる。事象の例は、ビデオ画像における第１の非組織領域の最初の出現、ビデオ画像における第１の非組織領域の最後の出現、組織領域との第１の非組織領域の近接性、１又は２以上の非組織領域のうちの別の非組織領域との第１の非組織領域の別の近接性を含むことができるがこれらに限定されない。実施形態により、第１のコンテンツ識別子との関連付けに加えて、１又は２以上の検索語は、発生された事象と更に関連付けることができる。第１のコンテンツ識別子及び１又は２以上の検索語と発生された事象とのそのような関連付けは、出血位置特定（血液染みの場所及び発生源を識別するための）、煙排気及びレンズ洗浄のトリガ（手術領域内に煙及び／又は霞が出現する場合に視認性を改善するための）、手術ツール警告（組織領域からの手術ツールの近接距離を決定するための）、及び／又はガーゼ及び／又は手術ツールの追跡（解剖学的領域からのガーゼ及び／又は手術ツールの除去に関して自動検査するための）等の１又は２以上の手術ナビゲーション支援を提供することができる。
【００３０】
実施形態により、コンテンツ管理サーバ１０４は、識別された１又は２以上の非組織領域、決定された１又は２以上のコンテンツ識別子、及び決定された１又は２以上のコンテンツ識別子の各々と対応する非組織領域との関連付けに基づいて機械学習を実行するように更に構成することができる。コンテンツ管理サーバ１０４によって実行された機械学習に基づいて、コンテンツ管理サーバ１０４は、１又は２以上のコンテンツ識別子の各々を１又は２以上の解剖学的領域の新しいビデオ画像内の対応する非組織領域に関連付けるように構成することができる。
【００３１】
図２は、本発明の開示の実施形態による例示的コンテンツ管理サーバを示すブロック図である。図２を図１に記載の要素に関連付けて説明する。図２を参照すると、コンテンツ管理サーバ１０４が示されている。コンテンツ管理サーバ１０４は、プロセッサ２０２等の１又は２以上のプロセッサと、送受信機２０４等の１又は２以上の送受信機と、メモリ２０６と、コンテンツ管理ユニット２０８とを含むことができる。コンテンツ管理ユニット２０８は、手術場面解析器２１０と、データベースコネクタ２１２と、ＵＩマネージャ２１４と、自然言語構文解析器２１６と、機械学習エンジン２１８とを含むことができる。実施形態により、コンテンツ管理サーバ１０４は、送受信機２０４を通じて通信ネットワーク１１０を通じてビデオデータベース１０６に通信的に結合することができる。これに代えて、コンテンツ管理サーバ１０４は、ビデオデータベース１０６を含むことができる。例えば、ビデオデータベース１０６は、メモリ２０６に実施することができる。
【００３２】
プロセッサ２０２は、送受信機２０４、メモリ２０６、及びコンテンツ管理ユニット２０８に通信的に結合することができる。送受信機２０４は、通信ネットワーク１１０を通じて手術デバイス１０２及びユーザ端末１０８と通信するように構成することができる。
【００３３】
プロセッサ２０２は、メモリ２０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００３４】
送受信機２０４は、通信ネットワーク１１０を通じてユーザ端末１０８及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機２０４は、コンテンツ管理サーバ１０４の通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機２０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００３５】
送受信機２０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ(登録商標)）、拡張データＧＳＭ(登録商標)環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ(登録商標)、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００３６】
メモリ２０６は、プロセッサ２０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。実施形態により、メモリ２０６は、画像取り込みデバイスによって取り込まれたビデオ画像を格納するように更に構成することができる。メモリ２０６は、ビデオ画像内の１又は２以上の非組織領域に関連付けられた１又は２以上のコンテンツ識別子を格納することができる。１又は２以上のコンテンツ識別子は、１又は２以上のビデオ画像の解析に基づいて決定することができる。これに代えて、１又は２以上のコンテンツ識別子は、予め決められてメモリ２０６内に予め格納することができる。メモリ２０６の実施の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００３７】
コンテンツ管理ユニット２０８は、解剖学的コンテンツ管理を実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。解剖学的コンテンツは、画像取り込みデバイスによって取り込まれたビデオ画像を含むことができる。実施形態により、コンテンツ管理ユニット２０８は、プロセッサ２０２の一部とすることができる。これに代えて、コンテンツ管理ユニット２０８は、コンテンツ管理サーバ１０４内の個別のプロセッサ又は回路として実施することができる。実施形態により、コンテンツ管理ユニット２０８とプロセッサ２０２は、これらの機能を実行する統合プロセッサ又はプロセッサクラスターとして実施することができる。実施形態により、コンテンツ管理ユニット２０８は、プロセッサ２０２による実行時にコンテンツ管理ユニット２０８の機能を実行することができるメモリ２０６に格納されたコンピュータプログラムコードとして実施することができる。
【００３８】
手術場面解析器２１０は、画像取り込みデバイスによって取り込まれたビデオ画像を解析するための１又は２以上の画像処理演算を実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ビデオ画像は、手術デバイス１０２を用いて手術手順又は診断手順を実行する患者の解剖学的領域を含むことができる。ビデオ画像の解析に基づいて、手術場面解析器２１０は、各ビデオ画像内の１又は２以上の非組織領域を識別することができる。実施形態により、１又は２以上の非組織領域は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域を含むがこれらに限定されない。実施形態により、手術場面解析器２１０は、各ビデオ画像内で識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定することができる。これに代えて、１又は２以上のコンテンツ識別子は、メモリ２０６内に予め格納されたものとすることができる。そのようなシナリオでは、１又は２以上のコンテンツ識別子は、手術場面解析器２１０によって決定する必要はない。更に、実施形態により、手術場面解析器２１０は、１又は２以上のコンテンツ識別子の各々を各ビデオ画像内で識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付けることができる。
【００３９】
データベースコネクタ２１２は、コンテンツ管理ユニット２０８にビデオデータベース１０６へのアクセス及び接続性を与えるように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、データベースコネクタ２１２は、コンテンツ管理ユニット２０８とビデオデータベース１０６の間のデータベースセッションを確立することができる。データベースセッションを確立するのに使用される１又は２以上の通信プロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００４０】
実施形態により、データベースコネクタ２１２は、ビデオデータベース１０６内の解析されたビデオ画像の指標付けを実行するように構成することができる指標付けエンジン（図２には示していない）を含むことができる。ビデオ画像のそのような指標付けは、それぞれの非組織領域に割り当てられたコンテンツ識別子に基づいて非組織領域に関するビデオ画像の効率的な検索及び取り出しを可能にすることができる。当業者は、本発明の開示の範囲は、データベースコネクタ２１２が指標付けエンジンの機能を実行することに限定されないことを理解することができる。実施形態により、指標付けエンジンは、手術場面解析器２１０の一部とすることができる。実施形態により、指標付けエンジンは、コンテンツ管理ユニット２０８内で独立したモジュールとして実施することができる。指標付けエンジンは、各対応する非組織領域に関連付けられた１又は２以上のコンテンツ識別子に基づいて、ビデオ画像内で識別済された１又は２以上の非組織領域の各々に対して指標を発生させるように構成することができる。指標付きビデオ画像は、その後の取り出しに向けてビデオデータベース１０６に格納することができる。
【００４１】
ＵＩマネージャ２１４は、ユーザ端末１０８上に提示されているＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ２１４は、ユーザ端末１０８のユーザ（医師のような）に検索インタフェースを提示することができる。検索インタフェースは、ユーザ端末１０８のＵＩを通してユーザ端末１０８の表示デバイス上でユーザに提示することができる。ユーザは、検索インタフェースを通じて１又は２以上の検索語を含むクエリを与えることができる。１又は２以上の検索語に基づいて、ＵＩマネージャ２１４は、ビデオデータベース１０６に格納された指標付きビデオ画像から１又は２以上のビデオ画像部分を取り出すことができる。実施形態により、ＵＩマネージャ２１４は、取り出された１又は２以上のビデオ画像部分を含む結果インタフェースを発生させることができる。ＵＩマネージャ２１４は、結果インタフェースをユーザ端末１０８の表示デバイス上でユーザ端末１０８のＵＩを通して提示することができる。
【００４２】
自然言語構文解析器２１６は、ユーザ端末１０８のユーザから受信した（捜索インタフェースを通じて）１又は２以上の検索語を解析するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、自然言語構文解析器２１６は、１又は２以上の自然言語処理技術及び／又はテキスト処理技術を用いて１又は２以上の検索語を解析することができる。自然言語構文解析器２１６は、検索語のうちの１つに対応する第１のコンテンツ識別子とメモリ２０６及び／又はビデオデータベース１０６内に予め格納された１又は２以上のコンテンツ識別子との意味的関連付けを実行することができる。１又は２以上の自然言語処理及び／又はテキスト処理技術の例は、単純ベイズ分類、人工ニューラルネットワーク、サポートベクター機械（ＳＶＭ）、多項ロジスティック回帰、又は最尤推定（ＭＬＥ）を有する混合ガウスモデル（ＧＭＭ）を含むことができるがこれらに限定されない。１又は２以上の検索語の解析に基づいて、自然言語構文解析器２１６は、１又は２以上の検索語に対応する第１のコンテンツ識別子を決定することができる。実施形態により、第１のコンテンツ識別子は、１又は２以上のコンテンツ識別子のうちの少なくとも１つのコンテンツ識別子に対応することができる。
【００４３】
機械学習エンジン２１８は、メモリ２０６及び／又はビデオデータベース１０６に格納されたデータから学習するために人工知能を実行するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。機械学習エンジン２１８は、メモリ２０６及び／又はビデオデータベース１０６からデータを取り出すように更に構成することができる。そのようなデータは、１又は２以上のビデオ画像内の１又は２以上の対応する非組織領域への１又は２以上のコンテンツ識別子の関連付けの履歴データに対応することができる。機械学習エンジン２１８は、履歴データを解析し、このデータから１又は２以上のパターンを認識するように構成することができる。実施形態により、認識したパターンに基づいて、機械学習エンジン２１８は、１又は２以上の規則を発生させ、発生させた１又は２以上の規則をメモリ２０６及び／又はビデオデータベース１０６に格納するように構成することができる。実施形態により、手術場面解析器２１０は、１又は２以上の規則を取り出し、これらの規則に基づいてビデオ画像を解析するように構成することができる。例えば、手術場面解析器２１０は、１又は２以上のコンテンツ識別子の各々をビデオ画像内の対応する非組織領域に関連付ける際に１又は２以上の規則を採用することができる。機械学習エンジン２１８は、人工ニューラルネットワーク（ＡＮＮ）、帰納論理プログラミング手法、サポートベクター機械（ＳＶＭ）、関連付け規則学習手法、決定木学習手法、及び／又はベイズネットワーク等の１又は２以上の手法に基づいて実行することができる。しかし、本発明の開示を上記に限定することはできず、本発明の開示の範囲を限定することなくあらゆる適切な学習手法を利用することができる。
【００４４】
作動時には、医師は、手術デバイス１０２及び１又は２以上の手術器具を用いて患者の解剖学的領域に対して手術手順又は診断手順を実行することができる。１又は２以上の手術器具の例は、内視鏡カテーテル、手術鉗子、手術切開器具、及び／又は手術ガーゼを含むことができるがこれらに限定されない。手術手順又は診断手順の例は、最小侵襲手術／診断手順、最小切開手術／診断手順、腹腔鏡手順、及び／又は内視鏡手順を含むことができるがこれらに限定されない。実施形態により、手術手順又は診断手順は、自動化されて医師からのいかなる監督又は指示もなく手術ロボットが実行することができる。実施形態により、手術手順又は診断手順は、半自動化されて医師からの１又は２以上の入力信号及び／又は指令によって手術ロボットが実行することができる。実施形態により、画像取り込みデバイス（図１には示していない）は、手術デバイス１０２に通信的に結合することができる（又はそこに含めることができる）。画像取り込みデバイスは、解剖学的領域に対して手術手順又は診断手順が実行される間に解剖学的領域の１又は２以上のビデオ画像を取り込むことができる。その後に、手術デバイス１０２（又は画像取り込みデバイス自体）は、取り込んだ１又は２以上のビデオ画像を通信ネットワーク１１０を通じてコンテンツ管理サーバ１０４に送信することができる。
【００４５】
コンテンツ管理サーバ１０４内の送受信機２０４は、手術デバイス１０２から通信ネットワーク１１０を通じて解剖学的領域の１又は２以上のビデオ画像を受信するように構成することができる。データベースコネクタ２１２は、ビデオデータベース１０６とのデータベースセッションを確立し、受信した１又は２以上のビデオ画像をビデオデータベース１０６に格納するように構成することができる。更に、１又は２以上のビデオ画像は、メモリ２０６に格納することができる。
【００４６】
手術場面解析器２１０は、１又は２以上のビデオ画像を解析するように構成することができる。実施形態により、１又は２以上のビデオ画像は、予め決められた数のビデオ画像が手術デバイス１０２から受信された時にバッチモード（オフライン処理）で解析することができる。実施形態により、１又は２以上のビデオ画像は、各新しいビデオ画像の受信時に実時間ベースで解析することができる（オンライン処理）。手術場面解析器２１０は、１又は２以上のビデオ画像を解析するために１又は２以上のビデオ画像をメモリ２０６及び／又はビデオデータベース１０６から取り出すことができる。その後に、手術場面解析器２１０は、各ビデオ画像内の１又は２以上の非組織領域を識別するように構成することができる。１又は２以上の非組織領域の例は、煙／霞領域、手術器具領域、手術ガーゼ領域、又は血液領域を含むがこれらに限定されない。
【００４７】
実施形態により、手術場面解析器２１０は、識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定するように構成することができる。実施形態により、１又は２以上のコンテンツ識別子は、医師によって予め決められ、メモリ２０６及び／又はビデオデータベース１０６内に予め格納することができる。そのような場合に、手術場面解析器２１０は、１又は２以上のコンテンツ識別子を決定する必要がない。手術場面解析器２１０は、メモリ２０６及び／又はビデオデータベース１０６から１又は２以上のコンテンツ識別子を取り出すことができる。
【００４８】
その後に、手術場面解析器２１０は、１又は２以上のコンテンツ識別子の各々を識別された１又は２以上の非組織領域からの対応する非組織領域に関連付けることができる。実施形態により、指標付けエンジン（図２には示していない）は、ビデオ画像内で識別された１又は２以上の非組織領域の各々に対する指標を各対応する非組織領域に関連付けられた１又は２以上のコンテンツ識別子に基づいて発生させるように構成することができる。実施形態により、指標付きビデオ画像は、その後の取り出しに向けてビデオデータベース１０６に格納することができる。
【００４９】
実施形態により、ビデオ画像を実時間ベースで（オンライン処理モードで）解析する場合に、手術場面解析器２１０は、取り込んだビデオ画像に関するフィードバックを画像取り込みデバイスに供給するように更に構成することができる。例えば、手術場面解析器２１０は、ビデオ画像内で１又は２以上の非組織領域のマスキングを実時間に実施することができる。その後に、手術場面解析器２１０は、マスキングされた１又は２以上の非組織領域に関する情報を送受信機２０４を通して画像取り込みデバイスに送信することができる。画像取り込みデバイスは、マスキングされた１又は２以上の非組織領域に関する情報に基づいて自動露光及び／又は自動フォーカスの実時間調節を実行することができる。
【００５０】
実施形態により、手術場面解析器２１０は、ビデオ画像の実時間解析又はオンライン解析中に画像取り込みデバイスに対する最適カメラパラメータを決定するように更に構成することができる。カメラパラメータの例は、自動露光制御、自動フォーカス制御、自動ホワイトバランス制御、及び／又は自動照明制御を含むことができるがこれらに限定されない。実施形態により、手術場面解析器２１０は、ビデオ画像内の特定の場面に対する最適カメラパラメータを決定することができる。例えば、ある一定の個数よりも多い血液領域又は煙領域を有するビデオ画像は、カメラパラメータの調節を必要とする可能性がある。従って、手術場面解析器２１０は、そのようなビデオ画像場面に対して最適なカメラパラメータを決定することができる。手術場面解析器２１０は、決定された最適カメラパラメータを送受信機２０４を通して画像取り込みデバイスに送信することができる。画像取り込みデバイスは、そのカメラパラメータの実時間調節を手術場面解析器２１０から受信した最適カメラパラメータに従って実行することができる。
【００５１】
実施形態により、手術場面解析器２１０は、ビデオ画像の解析に基づいてビデオ画像の画像品質を改善するように更に構成することができる。例えば、手術場面解析器２１０は、ビデオ画像内の１又は２以上の非組織領域の識別中にビデオ画像内の１又は２以上の煙領域を検出することができる。手術場面解析器２１０は、ビデオ画像の画像品質を改善するためにそのような煙領域に対して１又は２以上の画像強化演算を実行することができる。
【００５２】
ＵＩマネージャ２１４は、ユーザ端末１０８の表示デバイス上に検索インタフェースを提示するように構成することができる。検索インタフェースを通じて、医師等のユーザは、ユーザに関連のあるビデオ画像部分を検索するためのクエリを与えることができる。ビデオ画像部分は、患者の解剖学的領域の１又は２以上のビデオ画像から選択することができる。クエリは、第１のコンテンツ識別子に関連付けられた１又は２以上の検索語を含むことができる。ＵＩマネージャ２１４は、ユーザ端末１０８から送受信機２０４を通してクエリを受信することができる。その後に、自然言語構文解析器２１６は、１又は２以上の自然言語処理技術及び／又はテキスト処理技術を用いて１又は２以上の検索語を解析するように構成することができる。１又は２以上の検索語の解析に基づいて、自然言語構文解析器２１６は、第１のコンテンツ識別子を決定することができる。
【００５３】
実施形態により、自然言語構文解析器２１６は、プロセッサ２０２と連携して、決定された第１のコンテンツ識別子をビデオデータベース１０６に格納されている１又は２以上のコンテンツ識別子と比較することができる。更に、自然言語構文解析器２１６は、プロセッサ２０２と連携して、決定された第１のコンテンツ識別子と１又は２以上のコンテンツ識別子の各々との間の類似性スコアを決定することができる。類似性スコアは、１又は２以上のコンテンツ識別子に関する第１のコンテンツ識別子の意味解析に基づいて決定することができる。自然言語構文解析器２１６は、閾値よりも大きい類似性スコアに基づいて１又は２以上のコンテンツ識別子からコンテンツ識別子を選択することができる。例えば、自然言語構文解析器２１６は、類似性スコアに基づいて１又は２以上のコンテンツ識別子から第１のコンテンツ識別子の同義語を選択することができる。その後に、自然言語構文解析器２１６は、１又は２以上のコンテンツ識別子から選択したコンテンツ識別子に基づいて第１のコンテンツ識別子を更新することができる。
【００５４】
実施形態により、ＵＩマネージャ２１４は、指標付けされてビデオデータベース１０６に格納された１又は２以上のビデオ画像から１又は２以上のビデオ画像部分を取り出すためにビデオデータベース１０６にアクセス可能である。取り出された１又は２以上のビデオ画像部分は、１又は２以上のビデオ画像内で識別された１又は２以上の非組織領域からの第１の非組織領域を含むことができる。手術場面解析器２１０は、第１の非組織領域を第１のコンテンツ識別子に関連付けて、この識別子でタグ付けすることができる。
【００５５】
ＵＩマネージャ２１４は、第１のコンテンツ識別子に関連付けられた１又は２以上のビデオ画像部分を表示するために結果インタフェースを発生させることができる。ＵＩマネージャ２１４は、結果インタフェースをユーザ端末１０８のＵＩを通してユーザに提示することができる。実施形態により、ＵＩマネージャ２１４は、結果インタフェース内に表示される１又は２以上のビデオ画像部分内で非組織領域をマスキング又は強調表示することができる。実施形態により、ＵＩマネージャ２１４は、結果インタフェース内で第１の非組織領域をピクチャ−・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェースとして表示することができる。結果インタフェースの例に対しては図４で説明する。
【００５６】
実施形態により、第１のコンテンツ識別子との関連付けに加えて、タイムスタンプは、１又は２以上のビデオ画像内の事象の発生に関連付けることができる。事象の例は、１又は２以上のビデオ画像における第１の非組織領域の最初の出現、１又は２以上のビデオ画像における第１の非組織領域の最後の出現、組織領域との第１の非組織領域の近接性、及び／又は１又は２以上の非組織領域のうちの別の非組織領域との第１の非組織領域の別の近接性を含むことができるがこれらに限定されない。実施形態により、手術場面解析器２１０は、１又は２以上のビデオ画像からの望ましいビデオ画像に対応するタイムスタンプを決定するように構成することができる。望ましいビデオ画像は、取り出された１又は２以上のビデオ画像部分からの第１のビデオ画像部分を含むことができる。
【００５７】
第１のビデオ画像部分は、指定事象の発生に対応することができる。実施形態により、タイムスタンプは、予め決められ、かつ手術場面解析器２１０によってメモリ２０６及び／又はビデオデータベース１０６に予め格納することができる。そのような場合に、手術場面解析器２１０は、１又は２以上のビデオ画像を解析する間に、１又は２以上のビデオ画像内である一定の事象に対応するビデオ画像部分セットを識別することができる。その後に、手術場面解析器２１０は、識別したビデオ画像部分セットからのビデオ画像部分のうちの少なくとも１つを含むビデオ画像に関連付けられるそれぞれのタイムスタンプを決定することができる。
【００５８】
実施形態により、指標付けエンジンは、そのようなビデオ画像に関連付けられたそれぞれのタイムスタンプに基づいてビデオデータベース１０６内の１又は２以上のビデオ画像に指標付けするように構成することができる。従って、そのような場合に、望ましいビデオ画像のタイムスタンプをユーザからクエリを受信した上で決定する必要はない。従って、そのような場合に、ＵＩマネージャ２１４は、クエリ内の１又は２以上の検索語に基づいてメモリ２０６及び／又はビデオデータベース１０６からの望ましいビデオ画像のタイムスタンプを取り出すように構成することができる。実施形態により、ＵＩマネージャ２１４は、望ましいビデオ画像のタイムスタンプを結果インタフェース内に表示するように構成することができる。その後に、ＵＩマネージャ２１４は、ユーザ端末１０８のユーザが、タイムスタンプに対応する望ましいビデオ画像にナビゲートするという入力を与えた時に、第１のビデオ画像部分を結果インタフェース内に表示することができる。
【００５９】
実施形態により、機械学習エンジン２１８は、メモリ２０６及び／又はビデオデータベース１０６から履歴データを取り出すように構成することができる。履歴データは、手術場面解析器２１０によって解析された１又は２以上の以前ビデオ画像に対応することができるメタデータを含むことができる。
【００６０】
実施形態により、手術場面解析器２１０は、それぞれのビデオ画像の解析後にビデオ画像に関連付けられたメタデータを発生させることができる。手術場面解析器２１０は、メモリ２０６及び／又はビデオデータベース１０６にメタデータを格納するように更に構成することができる。ビデオ画像のメタデータは、ビデオ画像内で識別された１又は２以上の非組織領域に関する情報を含むことができる。１又は２以上の非組織領域に関する情報の例は、非組織領域の形状、非組織領域の色、非組織領域のテクスチャ、非組織領域の１又は２以上の特徴又は特性、及び／又は非組織領域に関連付けられた接続性を含むことができるがこれらに限定されない。実施形態により、ビデオ画像のメタデータは、ビデオ画像内の１又は２以上の非組織領域に対して決定された１又は２以上のコンテンツ識別子に関する情報を更に含むことができる。１又は２以上のコンテンツ識別子に関する情報の例は、１又は２以上のコンテンツ識別子のリスト、及び／又は各コンテンツ識別子に関連付けられたキーとなる語のリストを含むことができるがこれらに限定されない。実施形態により、ビデオ画像のメタデータは、１又は２以上のコンテンツ識別子の各々とビデオ画像内の対応する非組織領域との関連付けに関する情報を更に含むことができる。
【００６１】
１又は２以上の以前ビデオ画像のメタデータに基づいて１又は２以上のパターンを認識するために、機械学習エンジン２１８は、機械学習技術を利用することができる。実施形態により、その後に、認識したパターンに基づいて、機械学習エンジン２１８は、ビデオ画像に関する１又は２以上の事実を発生させ、発生させた１又は２以上の事実をメモリ２０６及び／又はビデオデータベース１０６に格納するように構成することができる。機械学習エンジン２１８は、メモリ２０６及び／又はビデオデータベース１０６に予め格納された１又は２以上の規則に基づいて１又は２以上の事実を発生させる。１又は２以上の規則の例は、ファジー論理規則、有限状態オートマトン（ＦＳＭ）規則、サポートベクター機械（ＳＶＭ）規則、及び／又は人工ニューラルネットワーク（ＡＮＮ）規則を含むことができるがこれらに限定されない。実施形態により、手術場面解析器２１０は、１又は２以上の規則を取り出し、これらの規則に基づいて新しいビデオ画像を解析するように構成することができる。例えば、手術場面解析器２１０は、１又は２以上のコンテンツ識別子の各々を新しいビデオ画像内の対応する非組織領域に関連付けるために１又は２以上の規則を採用することができる。
【００６２】
図３は、本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。図３を図１に記載の要素に関連付けて説明する。図３を参照すると、ユーザ端末１０８が示されている。ユーザ端末１０８は、プロセッサ３０２等の１又は２以上のプロセッサと、送受信機３０４等の１又は２以上の送受信機と、メモリ３０６と、クライアントインタフェースユニット３０８と、表示デバイス３１４とを含むことができる。クライアントインタフェースユニット３０８は、ＵＩマネージャ３１０と表示アダプタ３１２とを含むことができる。
【００６３】
プロセッサ３０２は、送受信機３０４、メモリ３０６、クライアントインタフェースユニット３０８、及び表示デバイス３１４に通信的に結合することができる。送受信機３０４は、コンテンツ管理サーバ１０４と通信ネットワーク１１０を通じて通信するように構成することができる。
【００６４】
プロセッサ３０２は、メモリ３０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ３０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ３０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００６５】
送受信機３０４は、通信ネットワーク１１０を通じてコンテンツ管理サーバ１０４と通信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機３０４は、ユーザ端末１０８と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機３０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００６６】
送受信機３０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ(登録商標)）、拡張データＧＳＭ(登録商標)環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ(登録商標)、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００６７】
メモリ３０６は、プロセッサ３０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ３０６の実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００６８】
クライアントインタフェースユニット３０８は、ユーザ端末１０８上に提示されている１又は２以上のＵＩのレンダリング及びその管理を実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２の一部とすることができる。これに代えて、クライアントインタフェースユニット３０８は、ユーザ端末１０８内の個別のプロセッサ又は回路として実施することができる。例えば、クライアントインタフェースユニット３０８は、プロセッサ３０２に通信的に結合された専用グラフィックプロセッサ又はグラフィックチップセットとして実施することができる。実施形態により、クライアントインタフェースユニット３０８とプロセッサ３０２は、クライアントインタフェースユニット３０８とプロセッサ３０２の機能を実行する統合プロセッサ又はプロセッサクラスターとして実施することができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２による実行時にクライアントインタフェースユニット３０８の機能を実行することができるメモリ３０６に格納されたコンピュータプログラムコードとして実施することができる。
【００６９】
ＵＩマネージャ３１０は、ユーザ端末１０８のＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ＵＩマネージャ３１０は、ユーザ端末１０８の入力デバイス（図３には示していない）を通して、ユーザ端末１０８のＵＩを通じて受信されるユーザ入力を受信かつ処理するように構成することができる。入力デバイスは、ユーザ端末１０８に通信的に結合する（又はそこに含める）ことができる。入力デバイスの例は、キーボード、マウス、ジョイスティック、トラックパッド、音声対応入力デバイス、タッチ対応入力デバイス、及び／又は動作対応入力デバイスを含むことができるがこれらに限定されない。
【００７０】
実施形態により、ＵＩマネージャ３１０は、コンテンツ管理サーバ１０４のＵＩマネージャ２１４と送受信機３０４を通して通信するように更に構成することができる。そのような通信は、検索インタフェースに対応する情報の受信を容易にすることができる。その後に、ＵＩマネージャ３１０は、検索インタフェースをユーザ端末１０８のＵＩを通して提示することができる。ＵＩマネージャ３１０は、入力デバイスを介してＵＩを通してユーザから入力を受信するように更に構成することができる。例えば、ユーザは、検索インタフェース内の検索バーを通して１又は２以上の検索語を入力することができる。ＵＩマネージャ３１０は、送受信機３０４を通して１又は２以上の検索語等のユーザ入力をコンテンツ管理サーバ１０４のＵＩマネージャ２１４に送信することができる。実施形態により、ＵＩマネージャ３１０は、コンテンツ管理サーバ１０４のＵＩマネージャ２１４から送受信機３０４を通して結果インタフェースに対応することができる情報を受信するように更に構成することができる。その後に、ＵＩマネージャ３１０は、結果インタフェースをユーザ端末１０８のＵＩを通してユーザに提示することができる。
【００７１】
表示アダプタ３１２は、ＵＩマネージャ３１０と表示デバイス３１４とをインタフェースで接続するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示アダプタ３１２は、表示デバイス３１４の表示構成に基づいてユーザ端末１０８のＵＩのレンダリング及び表示特性の調節を実施することができる。表示調節を実施するために使用することができる１又は２以上の技術の例は、画像改善、画像安定化、コントラスト調節、輝度調節、解像度調節、及び／又は歪み／回転の調節を含むことができるがこれらに限定されない。
【００７２】
表示デバイス３１４は、ユーザ端末１０８のＵＩをレンダリングするように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示デバイス３１４は、ユーザ端末１０８の一部として実施することができる。実施形態により、表示デバイス３１４は、ユーザ端末１０８に通信的に結合することができる。表示デバイス３１４は、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、及び網膜ディスプレイ技術等であるがこれらに限定されないいくつかの公知の技術を用いて実現することができる。実施形態により、表示デバイス３１４は、ユーザから入力を受信することができる。そのようなシナリオでは、表示デバイス３１４は、ユーザが入力を与えることを可能にするタッチスクリーンとすることができる。タッチスクリーンは、抵抗タッチスクリーン、容量タッチスクリーン、又は熱タッチスクリーンのうちの少なくとも１つに対応することができる。実施形態により、表示デバイス３１４は、仮想キーパッド、スタイラス、動作ベースの入力、及び／又はタッチベースの入力を通して入力を受信することができる。そのような場合に、入力デバイスは、表示デバイス３１４内に統合することができる。実施形態により、ユーザ端末１０８は、タッチスクリーンベースの表示デバイス３１４とは別に補助的な入力デバイスを含むことができる。
【００７３】
作動時には、ユーザ端末１０８の送受信機３０４は、コンテンツ管理サーバ１０４のＵＩマネージャ２１４から通信ネットワーク１１０を通じて結果インタフェースに対応することができる情報を受信することができる。実施形態により、その後に、ユーザ端末１０８のＵＩマネージャ３１０は、検索インタフェースをユーザ端末１０８のＵＩを通してユーザに提示することができる。実施形態により、検索インタフェースは、検索クエリを入力するようにユーザに促すことができる検索バーを含むことができる。ユーザは、検索バー内に１又は２以上の検索語を入力することによって検索クエリをＵＩを通して与えることができる。実施形態により、検索インタフェースは、検索語のリストをユーザに提案することができる。例えば、検索インタフェースは、多くの場合に、照会される検索語のリストを提示することができる。更に、検索インタフェースは、ユーザに自動完了機能を提供することができる。例えば、検索インタフェースは、ユーザが検索クエリの１又は２以上の検索語を入力する間に検索クエリを自動的に完了させるか又は書き込むことができる。実施形態により、ＵＩマネージャ３１０は、ユーザによって与えられる検索クエリをユーザ端末１０８の入力デバイス（図３には示していない）を介してユーザ端末１０８のＵＩを通じて受信するように更に構成することができる。実施形態により、検索クエリ内の１又は２以上の検索語は、第１のコンテンツ識別子とすることができる。実施形態により、ＵＩマネージャ３１０は、１又は２以上の検索語を含むことができる受信した検索クエリを送受信機３０４を通してコンテンツ管理サーバ１０４のＵＩマネージャ２１４に送信するように更に構成することができる。
【００７４】
実施形態により、ＵＩマネージャ３１０は、結果インタフェースに対応することができる情報をコンテンツ管理サーバ１０４のＵＩマネージャ２１４から送受信機３０４を通じて受信するように更に構成することができる。更に、ＵＩマネージャ３１０は、結果インタフェースをユーザ端末１０８上でそのＵＩを通してユーザに提示するように構成することができる。実施形態により、結果インタフェースは、コンテンツ管理サーバ１０４によって第１のコンテンツ識別子に基づいて１又は２以上のビデオ画像から取り出された１又は２以上のビデオ画像部分を含むことができる。１又は２以上のビデオ画像部分は、第１のコンテンツ識別子に関連付けられた非組織領域を含むことができる。実施形態により、結果インタフェース内に表示される１又は２以上のビデオ画像部分内で第１の非組織領域をマスキング又は強調表示することができる。結果インタフェースは、第１の非組織領域を含むことができる１又は２以上のビデオ画像部分をピクチャ−・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェースを通じて表示することができる。
【００７５】
実施形態により、１又は２以上の検索語は、第１のコンテンツ識別子との関連付けに加えて、１又は２以上のビデオ画像における事象の発生と更に関連付けることができる。そのようなシナリオでは、結果インタフェースは、１又は２以上のビデオ画像部分のうちの第１のビデオ画像部分を含む１又は２以上のビデオ画像からの望ましいビデオ画像に対応するタイムスタンプを表示することができる。実施形態により、第１のビデオ画像部分は、１又は２以上のビデオ画像における事象の発生に対応することができる。事象の例は、ビデオ画像における第１の非組織領域の最初の出現、ビデオ画像における第１の非組織領域の最後の出現、組織領域との第１の非組織領域の近接性、及び／又は１又は２以上の非組織領域のうちの別の非組織領域との第１の非組織領域の別の近接性を含むことができるがこれらに限定されない。実施形態により、ユーザがタイムスタンプにナビゲートするという入力を与えた時に、ＵＩマネージャ３１０は、第１のビデオ画像部分を含むことができる望ましいビデオ画像をユーザ端末１０８のＵＩを通して表示することができる。
【００７６】
実施形態により、結果インタフェースはまた、検索インタフェースに関連付けられた検索バーを含むことができる。実施形態により、結果インタフェースは、ユーザによって過去に与えられた検索クエリのリストを表示することができる検索履歴部分を更に含むことができる。そのようなシナリオでは、更に別の検索を実施するために又は１又は２以上のビデオ画像上の過去の検索を絞り込むために、結果インタフェースを検索インタフェースと類似の方式で使用することができる。結果インタフェースの例を図４に説明する。
【００７７】
実施形態により、結果インタフェースは、ユーザが１又は２以上のビデオ画像を見ることを可能にするように更に構成することができる。例えば、結果インタフェースは、ユーザによって選択されるビデオ画像の１又は２以上の部分を見るか、又は１又は２以上のビデオ画像を全体的に見るかというオプションをユーザに与えることができる。実施形態により、結果インタフェースは、１又は２以上のビデオ画像がユーザに表示される間に１又は２以上のビデオ画像内で各非組織領域をマスキング又は強調表示することができる。更に、結果インタフェースは、１又は２以上のビデオ画像内の各そのような非組織領域がユーザに表示されるのと同時に関連の非組織領域に関連付けられた対応するコンテンツ識別子を表示することができる。対応するコンテンツ識別子は、バブルマーカ及び／又は動的ラベル等の１又は２以上のフォーマットで表示することができる。しかし、本発明の開示を上記に限定することはできず、コンテンツ識別子を表示するのに本発明の開示の範囲から逸脱することなく他のフォーマットを実施することができる。
【００７８】
実施形態により、結果インタフェースは、ユーザが、結果インタフェースを通じて１又は２以上のビデオ画像を見る間に１又は２以上のビデオ画像に対して１又は２以上の画像／映像編集演算を実施することを可能にするように更に構成することができる。そのような画像／映像編集演算の例は、コピー−ペースト、カット−ペースト、削除、トリミング、ズーム、パン、大きさ変更、及び／又はビデオ画像部分に対するコントラスト、照明、又は色の強調の実施を含むことができるがこれらに限定されない。実施形態により、ユーザ端末１０８のＵＩマネージャ３１０は、ユーザによって実施された１又は２以上の画像／映像編集演算に関する情報を送受信機２０４を通してコンテンツ管理サーバ１０４のＵＩマネージャ２１４に送信することができる。コンテンツ管理サーバ１０４のＵＩマネージャ２１４は、ビデオデータベース１０６に格納されたビデオ画像を相応に更新することができる。
【００７９】
実施形態により、結果インタフェースは、それを通してユーザが１又は２以上のビデオ画像を見る間にユーザが１又は２以上のビデオ画像のタグ付けを実施することを可能にするように更に構成することができる。例えば、結果インタフェースは、ユーザが、現時点で不正なコンテンツ識別子が非組織領域に関連付けられていると認めた場合に、ユーザに表示されているビデオ画像内の非組織領域を正しいコンテンツ識別子でタグ付けすることを可能にすることができる。更に、結果インタフェースは、コンテンツ管理サーバ１０４が識別することができなかったビデオ画像内の領域をユーザが非組織領域として識別することを可能にすることができる。ユーザは、そのような非組織領域を適切なコンテンツ識別子でタグ付けすることができる。ユーザは、ビデオ画像内で非組織領域として不正に識別された可能性があるが、ビデオ画像内の他の人工物又は組織領域に対応する可能性がある領域を識別することができる。更に、結果インタフェースは、ユーザがビデオ画像の１又は２以上の部分に注釈及び記述を追加することを可能にすることができる。実施形態により、ユーザ端末１０８のＵＩマネージャ３１０は、タグ付けされた１又は２以上のビデオ画像に関する情報を送受信機２０４を通してコンテンツ管理サーバ１０４のＵＩマネージャ２１４に送信することができる。コンテンツ管理サーバ１０４のＵＩマネージャ２１４は、ビデオデータベース１０６に格納されているビデオ画像を相応に更新することができる。更に、コンテンツ管理サーバ１０４の指標付けエンジンは、コンテンツ識別子と非組織領域の間の関連付けの変更を反映するためにビデオデータベース１０６内のビデオ画像の指標付けをユーザのタグ付けに基づいて更新することができる。
【００８０】
図４は、本発明の開示の実施形態によりユーザ端末１０８上に提示することができるＵＩの例示的シナリオを示している。図４を図１の要素に関連付けて説明する。図４を参照すると、ユーザ端末１０８のユーザに提示することができるＵＩ４００が示されている。ＵＩ４００は、検索インタフェース４０２と結果インタフェース４０６とを含むことができる。実施形態により、検索インタフェース４０２は、１又は２以上の検索語を含む検索クエリをユーザ端末１０８のユーザから受信するように構成することができる。検索インタフェース４０２は、検索クエリを受信するための検索バーと提出ボタンとを含むことができる。実施形態により、結果インタフェース４０６は、検索クエリ内の１又は２以上の検索語に基づいて１又は２以上のビデオ画像から取り出された１又は２以上のビデオ画像部分を表示するように構成することができる。
【００８１】
例えば、結果インタフェース４０６は、患者の解剖学的領域４０８の斜視断面図のスナップショットを含むビデオ画像部分を表示する。スナップショットは、解剖学的領域４０８に対して手術手順又は診断手順が実行される間に取り込むことができる。スナップショット内に示すように、手術手順又は診断手順は、手術鉗子４１０及び内視鏡手術器具４１２等の１又は２以上の手術器具を用いて実行することができる。図４に示すように、内視鏡手術器具４１２を用いて手術手順又は診断手順が実行される間に、解剖学的領域４０８の面は、手術鉗子４１０を用いて保持することができる。図４には２つの手術器具しか示していないが、手術手順又は診断手順を実行するのに本発明の開示の範囲から逸脱することなく１又は２以上の他の手術器具を使用することができる。実施形態により、スナップショットは、１又は２以上のビデオ画像部分内の血液領域４１４ａ及び４１４ｂ等の第１の非組織領域も示している。実施形態により、第１の非組織領域は、１又は２以上のコンテンツ識別子からの少なくとも１つのコンテンツ識別子に対応することができる第１のコンテンツ識別子に関連付けることができ、一方、第１のコンテンツ識別子は、検索クエリ内の１又は２以上の検索語に関連付けることができる。
【００８２】
作動時には、ユーザ（医師、医学生、及び／又は医療専門家のような）は、検索インタフェース４０２を通して１又は２以上の検索語を入力することによって検索クエリを入力することができる。例えば、ユーザは、検索インタフェース４０２の検索バー内に「血液染みを有するフレーム」という検索語を入力し、検索インタフェース４０２の提出ボタン（「ＧＯ」ボタンのような）をクリック又は押下することができる。ユーザ端末１０８は、１又は２以上のビデオ画像からの関連のビデオ画像部分の取り出しに向けてユーザによって入力された検索クエリを送信することができる。その後に、ユーザ端末１０８は、送信した検索クエリに基づく関連のビデオ画像部分をコンテンツ管理サーバ第２から受信することができる。実施形態により、結果インタフェース４０６は、ユーザ端末１０８が受信することができる１又は２以上のビデオ画像部分を表示するように構成することができる。検索クエリ内の１又は２以上の検索語は、第１のコンテンツ識別子に関連付けることができる。例えば、「血液染み」とう検索語は、予め格納された「血液領域」というコンテンツ識別子に関連付けることができる。１又は２以上のビデオ画像部分は、第１のコンテンツ識別子に基づいて取り出すことができる。更に、１又は２以上のビデオ画像部分は、第１のコンテンツ識別子に関連付けられた血液領域等の第１の非組織領域を含むことができる。このように上述のシナリオでは、取り出された１又は２以上のビデオ画像部分は、血液領域４１４ａ及び４１４ｂ等の血液領域を含むことができる。実施形態により、血液領域４１４ａ及び４１４ｂ等の第１の非組織領域は、結果インタフェース４０６内でマスキング又は強調表示することができる。実施形態により、第１の非組織領域は、結果インタフェース４０６内の拡大された高解像度サブインタフェースに表示することができる。実施形態により、結果インタフェース４０６は、血液領域４１４ａ及び４１４ｂ等の第１の非組織領域をピクチャ−・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェースを通じて表示することができる。
【００８３】
実施形態により、第１のコンテンツ識別子に関連付けられることに加えて、１又は２以上の検索語は、１又は２以上のビデオ画像内の事象の発生と更に関連付けることができる。例えば、「血液染み」という検索クエリは、１又は２以上のビデオ画像内の血液領域の最初の出現事象に関連付けることができる。従って、ユーザは、手術手順又は診断手順の途中の血液領域の最初の出現に対応する望ましいビデオ画像を検索することができる。図４には示していないが、そのようなシナリオでは、結果インタフェース４０６は、そのような望ましいビデオ画像のタイムスタンプをユーザに表示することができる。望ましいビデオ画像は、１又は２以上のビデオ画像部分からの第１のビデオ画像部分を含むことができる。１又は２以上のビデオ画像部分からの第１のビデオ画像部分は、この場合は血液領域の最初の発生である事象の発生に対応する。実施形態により、タイムスタンプは、１又は２以上のビデオ画像に対する望ましいビデオ画像の相対位置を示すことができる。結果インタフェース４０６は、ユーザに望ましいビデオ画像にナビゲートするというオプションを促すことができる。ユーザが望ましいビデオ画像へのナビゲーション要求を示す入力を与えた場合に、結果インタフェース４０６は、望ましいビデオ画像をユーザに提示することができる。当業者は、ＵＩ４００は例証目的で提供されたものであり、本発明の開示の範囲を限定するものであると解釈すべきではないことを理解することができる。
【００８４】
本発明の開示の様々な実施形態は、多くの利点を包含することができる。コンテンツ管理サーバ１０４は、手術手順又は診断手順中に施術者、医師、医療従事者、又は医学生等のユーザに手術ナビゲーション支援を提供することができる。ある事例では、手術ナビゲーション支援は、手術手順又は診断手順中に出血の場所及び発生源を識別するための出血位置特定を含むことができる。別の事例では、手術ナビゲーション支援は、手術領域内の煙及び／又は霞の出現の場合に視認性が低下するときの煙排気及びレンズ洗浄のトリガを含むことができる。別の事例では、手術ナビゲーション支援は、組織領域からの手術ツールの限界近接距離が検出された時の手術ツール警告を含むことができる。更に別の事例では、手術ナビゲーション支援は、手術手順又は診断手順が完了間近である時に解剖学的領域からのガーゼ及び／又は手術ツールの除去を自動検査するためにガーゼ及び／又は手術ツールの追跡を含むことができる。
【００８５】
コンテンツ管理サーバ１０４は、ユーザが１又は２以上のビデオ画像内の特定の事象の発生を検索することを更に可能にすることができる。例示的シナリオでは、ユーザは、手術手順又は診断手順における特定の事象の開始又は終了を検索することに関心を有する可能性がある。特定の事象の例は、出血の開始、煙／霞の出現、及び／又は非組織領域又は組織領域への手術器具の近接性を含むことができるがこれらに限定されない。
【００８６】
コンテンツ管理サーバ１０４は、ユーザが１又は２以上のビデオ画像内で検索された事象に対応する関連のセクションに直接にナビゲートすることを更に可能にすることができる。コンテンツ識別子と予め定められた事象とに基づいて大量のビデオ画像を通して自由に検索を行う機能は、医師、医学生、及び様々な他の医療専門家等のユーザに対して有利である場合がある。大量のビデオ画像を通して自由に検索を行うそのような機能は、ユーザが手術研修セッション、医療事例シートの準備、手順過誤の分析を行い、手術手順又は診断手順に関する手術的精査を実行するのに有利である場合がある。更に、コンテンツ管理サーバ１０４は、ロボット手術において機械学習エンジン２１８を用いて支援を実行することができる。
【００８７】
図５は、本発明の開示の実施形態による解剖学的領域のビデオ画像のコンテンツ管理の例示的方法を示す流れ図である。図５を参照すると、流れ図５００が示されている。流れ図５００を図１及び図２に関連付けて説明する。本方法は、段階５０２で始まって段階５０４に進行する。
【００８８】
段階５０４において、患者の解剖学的領域の１又は２以上のビデオ画像内の１又は２以上の非組織領域を識別することができる。実施形態により、１又は２以上のビデオ画像は、手術手順又は診断手順が患者の解剖学的領域に対して実施される間に画像取り込みデバイス（図１には示していない）によって取り込むことができる。実施形態により、１又は２以上のビデオ画像は、ビデオデータベース１０６に格納することができる。実施形態により、コンテンツ管理サーバ１０４の手術場面解析器２１０は、１又は２以上のビデオ画像の解析に基づいて１又は２以上の非組織領域を識別するように構成することができる。
【００８９】
段階５０６において、識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定することができる。実施形態により、手術場面解析器２１０は、１又は２以上のコンテンツ識別子を決定するように構成することができる。これに代えて、１又は２以上のコンテンツ識別子は、予め決められ、コンテンツ管理サーバ１０４及び／又はビデオデータベース１０６のメモリ２０６に予め格納することができる。そのような場合に、１又は２以上のコンテンツ識別子を手術場面解析器２１０によって決定する必要はない。代わりに、１又は２以上のコンテンツ識別子は、メモリ２０６又はビデオデータベース１０６から取り出すことができる。
【００９０】
段階５０８において、１又は２以上のコンテンツ識別子の各々は、１又は２以上の非組織領域からの対応する非組織領域に関連付けることができる。実施形態により、手術場面解析器２１０は、１又は２以上のコンテンツ識別子の各々を１又は２以上のビデオ画像内の対応する非組織領域に関連付けるように構成することができる。
【００９１】
段階５１０において、識別された１又は２以上の非組織領域に対して、対応する非組織領域に関連付けられたコンテンツ識別子に基づいて指標を発生させることができる。実施形態により、コンテンツ管理サーバ１０４の指標付けエンジン（図２には示していない）は、指標を発生させるように構成することができる。実施形態により、指標付けエンジンは、ビデオデータベース１０６に格納されている各ビデオ画像を１又は２以上の非組織領域の各々に対して発生された指標に基づいて指標付けすることができる。
【００９２】
段階５１２において、識別された１又は２以上の非組織領域と、決定された１又は２以上のコンテンツ識別子と、各コンテンツ識別子の対応する非組織領域との関連付けとに基づいて機械学習を実行することができる。実施形態により、機械学習エンジン２１８は、機械学習を実行するように構成することができる。機械学習に基づいて、機械学習エンジン２１８は、１又は２以上の規則を策定するか又は過去に策定した１又は２以上の規則を更新することができる。実施形態により、手術場面解析器２１０は、１又は２以上の新しいビデオ画像を解析するのに１又は２以上の規則を使用することができ、各コンテンツ識別子を１又は２以上の新しいビデオ画像内の対応する非組織領域に関連付けることができる。制御は、終了段階５１４に渡される。
【００９３】
図６は、本発明の開示の実施形態によるコンテンツ検索の第２の例示的方法を示す例示的流れ図である。図６を参照すると、流れ図６００が示されている。流れ図６００を図１及び図２に関連付けて説明する。本方法は、段階６０２で始まって段階６０４に進行する。
【００９４】
段階６０４において、ユーザ端末１０８からクエリを受信することができる。実施形態により、コンテンツ管理サーバ１０４のＵＩマネージャ２１４は、送受信機２０４を通してクエリを受信するように構成することができる。実施形態により、クエリは、第１のコンテンツ識別子に関連付けられた１又は２以上の検索語を含むことができる。
【００９５】
段階６０６において、１又は２以上の自然言語処理技術及び／又はテキスト処理技術を用いて１又は２以上の検索語に基づいて第１のコンテンツ識別子を決定することができる。実施形態により、コンテンツ管理サーバ１０４の自然言語構文解析器２１６は、第１のコンテンツ識別子を決定するように構成することができる。
【００９６】
段階６０８において、第１のコンテンツ識別子に基づいて１又は２以上のビデオ画像から１又は２以上のビデオ画像部分を取り出すことができる。実施形態により、コンテンツ管理サーバ１０４のＵＩマネージャ２１４は、ビデオデータベース１０６から１又は２以上のビデオ画像部分を取り出すように構成することができる。実施形態により、取り出された１又は２以上のビデオ画像部分は、第１のコンテンツ識別子に関連付けられた第１の非組織領域を含むことができる。
【００９７】
段階６１０において、取り出された１又は２以上のビデオ画像部分が表示される。実施形態により、ＵＩマネージャ２１４は、取り出された１又は２以上のビデオ画像部分をユーザ端末１０８のＵＩを通してユーザに表示するように構成することができる。実施形態により、第１の非組織領域は、１又は２以上のビデオ画像部分がユーザに表示される時に１又は２以上のビデオ画像部分内でマスキング又は強調表示することができる。制御は、終了段階６１２に渡される。
【００９８】
図７は、本発明の開示の実施形態によるコンテンツ検索のための第３の例示的方法を示す例示的流れ図である。図７を参照すると、流れ図７００が示されている。流れ図７００を図１及び図３に関連付けて説明する。本方法は、段階７０２で始まって段階７０４に進行する。
【００９９】
段階７０４において、１又は２以上の検索語を含むクエリを送信することができる。実施形態により、ユーザ端末１０８のＵＩマネージャ３１０は、ユーザからユーザ端末１０８のＵＩを通してクエリを受信するように構成することができる。その後に、ＵＩマネージャ３１０は、送受信機３０４を通してクエリをコンテンツ管理サーバ１０４に送るように構成することができる。実施形態により、１又は２以上の検索語は、第１のコンテンツ識別子に関連付けることができる。
【０１００】
段階７０６において、１又は２以上のビデオ画像部分を受信することができる。実施形態により、ＵＩマネージャ３１０は、コンテンツ管理サーバ１０４から送受信機３０４を通して１又は２以上のビデオ画像部分を受信するように構成することができる。実施形態により、コンテンツ管理サーバ１０４は、指標付けされてビデオデータベース１０６に格納された１又は２以上のビデオ画像から第１のコンテンツ識別子に基づいて１又は２以上のビデオ画像部分を取り出すことができる。実施形態により、１又は２以上のビデオ画像部分は、第１のコンテンツ識別子に関連付けることができる第１の非組織領域を含むことができる。
【０１０１】
段階７０８において、１又は２以上のビデオ画像部分を表示することができる。実施形態により、ＵＩマネージャ３１０は、ユーザ端末１０８の表示デバイス３１４上でユーザ端末１０８のＵＩを通して１又は２以上のビデオ画像部分を表示するように構成することができる。実施形態により、第１の非組織領域は、表示された１又は２以上のビデオ画像部分内でマスキング又は強調表示することができる。実施形態により、第１の非組織領域は、ピクチャ−・イン・ピクチャーインタフェース又はピクチャー・オン・ピクチャーインタフェース内に表示することができる。制御は、終了段階７１０に渡される。
【０１０２】
本発明の開示の実施形態により、コンテンツ管理のためのシステムを開示する。システムは、コンテンツ管理サーバ１０４を含むことができる。コンテンツ管理サーバ１０４は、解剖学的領域のビデオ画像内の１又は２以上の非組織領域を識別するように構成することができる。ビデオ画像は、通信ネットワーク１１０を通じてコンテンツ管理サーバ１０４に通信的に結合することができる画像取り込みデバイスによって発生させることができる。コンテンツ管理サーバ１０４は、識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定するように更に構成することができる。更に、コンテンツ管理サーバ１０４は、決定された１又は２以上のコンテンツ識別子を識別された１又は２以上の非組織領域のうちの対応する非組織領域に関連付けるように構成することができる。
【０１０３】
解剖学的領域のビデオ画像のコンテンツ管理に向けて機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムが格納された非一時的コンピュータ又は機械可読媒体及び／又はストレージ媒体を提供することができる。コンテンツ管理サーバ１０４内の少なくとも１つのコードセクションは、解剖学的領域のビデオ画像内の１又は２以上の非組織領域の識別を含む段階を機械及び／又はコンピュータに実行させることができる。ビデオ画像は、通信ネットワーク１１０を通じてコンテンツ管理サーバ１０４に通信的に結合することができる画像取り込みデバイスによって発生させることができる。実施形態により、識別された１又は２以上の非組織領域に対して１又は２以上のコンテンツ識別子を決定することができる。更に、決定された１又は２以上のコンテンツ識別子の各々は、識別された１又は２以上の非組織領域からの対応する非組織領域に関連付けることができる。
【０１０４】
本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、少なくとも１つのコンピュータシステムにおいて中央集中様式に実現するか、又は相互接続したいくつかのコンピュータシステムにわたって様々な要素を分散させることができる分散様式に実現することができる。本明細書で説明する方法を実行するように適応化されたコンピュータシステム又は他の装置が適切である場合がある。ハードウエアとソフトウエアの組合せは、ロードされて実行された時に、本明細書で説明する方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。
【０１０５】
本発明の開示はまた、本明細書で記述した方法の実施を可能にする全ての特徴を含み、かつコンピュータシステム内にロードされた時にこれらの方法を実行することができるコンピュータプログラム製品に埋め込むことができる。この関連において、コンピュータプログラムは、特定の機能を直接に実行するか、又はａ）別の言語、コード、又は表記への変換とｂ）異なる材料形態における複製とのいずれか又は両方の後で実行するかのいずれかの情報処理機能を有するシステムに行わせることが意図された命令セットのあらゆる言語、コード、又は表記におけるあらゆる表現を意味する。
【０１０６】
本発明の開示をある一定の実施形態を参照して記述したが、当業者は、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物で代用することができることを理解するであろう。これに加えて、本発明の開示の教示に対してその範囲から逸脱することなく特定の状況又は材料を適応させるために多くの修正を加えることができる。従って、本発明の開示は、開示した特定の実施形態に限定されず、むしろ添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。
【符号の説明】
【０１０７】
１００  ネットワーク環境
１０２  手術デバイス
１０４  コンテンツ管理サーバ
１０８  ユーザ端末
１１０  通信ネットワーク
【図１】
2018517950.tif 000003
【図２】
2018517950.tif 000004
【図３】
2018517950.tif 000005
【図４】
2018517950.tif 000006
【図５】
2018517950.tif 000007
【図６】
2018517950.tif 000008
【図７】
2018517950.tif 000009
【国際調査報告】
2018517950.tif 000010