(57)【要約】  実装形態は、一般に、外科手術ビデオにおいて利き手ツールを検出することに関する。いくつかの実装形態では、方法は、少なくとも１つの画像フレームを受け取るステップを含む。前記方法は、更に、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップを含む。前記方法は、更に、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップを含み、前記１又は２以上のオブジェクトはツールである。前記方法は、更に、前記１又は２以上のツールの左右を決定するステップを含む。前記方法は、更に、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップを含む。【選択図】図１
2021527272.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
１又は２以上のプロセッサと、
前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化され、かつ実行時に動作を実行するように作動可能であるロジックと、
を含み、前記動作は、
少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、
前記１又は２以上のツールの左右（ｈａｎｄｅｄｎｅｓｓ）を決定するステップと、
前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
を含む、
ことを特徴とするシステム。
【請求項２】
前記１又は２以上のツール分類は、ツールのタイプを表示することを特徴とする、請求項１に記載のシステム。
【請求項３】
前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項１に記載のシステム。
【請求項４】
前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、
前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、
を含む、
ことを特徴とする、請求項１に記載のシステム。
【請求項５】
前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含むことを特徴とする、請求項１に記載のシステム。
【請求項６】
前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項１に記載のシステム。
【請求項７】
前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含むことを特徴とする、請求項１に記載のシステム。
【請求項８】
プログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、１又は２以上のプロセッサによって実行された時に、動作を実行するように作動可能であり、前記動作は、
少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、
前記１又は２以上のツールの左右を決定するステップと、
前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
を含む、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項９】
前記１又は２以上のツール分類は、ツールのタイプを表示することを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１０】
前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１１】
前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、
前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、
を含む、
ことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１３】
前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
【請求項１５】
コンピュータ実装方法であって、
少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、
前記１又は２以上のツールの左右を決定するステップと、
前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
を含む、
ことを特徴とする方法。
【請求項１６】
前記１又は２以上のツール分類は、ツールのタイプを表示することを特徴とする、請求項１５に記載の方法。
【請求項１７】
前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項１５に記載の方法。
【請求項１８】
更に、
前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、
を含む、
ことを特徴とする、請求項１５に記載の方法。
【請求項１９】
更に、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含むことを特徴とする、請求項１５に記載の方法。
【請求項２０】
更に、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願の相互参照〕
[01]  本出願は、以下の出願、すなわち、２０１８年６月１４日出願の「外科手術ビデオのためのツールの左右の決定（Ｔｏｏｌ  Ｈａｎｄｅｄｎｅｓｓ  Ｄｅｔｅｒｍｉｎａｔｉｏｎ  Ｆｏｒ  Ｓｕｒｇｉｃａｌ  Ｖｉｄｅｏｓ）」という名称の米国特許出願番号第１６／００８，７８４号（代理人整理番号第０２０６９９−１１１９００ＵＳ号）に関連し、この出願は、全ての目的に対してあたかも本出願に全てが示されている如くここに引用により組み込まれる。
【背景技術】
【０００２】
[02]  コンピュータ支援外科手術は、コンピュータ技術を用いて、内視鏡手術、腹腔鏡手術等を含む処置などの医療処置を誘導又は実行する。外科手術中に、外科医は、様々なツールを用いて、外科手術を行う必要がある場合がある。カメラ及びモニタは、外科医が、ロボットアームを用いて、複数の外科手術ツールを操作するのを助けることができる。しかしながら、外科手術中に、外科手術ツールをモニタ上でよく見ることが困難である可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[03]  実装形態は、一般に、外科手術ビデオにおいて利き手ツールを検出することに関する。いくつかの実装形態では、システムは、１又は２以上のプロセッサを含み、前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化されるロジックを含む。前記ロジックは、実行時に動作を実行するように作動可能であり、前記動作は、少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、前記１又は２以上のツールの左右を決定するステップと、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、を含む。
【０００４】
[04]  更に、前記システムについて、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含む。
【０００５】
[05]  いくつかの実施形態では、プログラム命令を記憶した非一時的コンピュータ可読記憶媒体が提供される。前記命令は、１又は２以上のプロセッサによって実行された時に、動作を実行するように作動可能であり、前記動作は、少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、前記１又は２以上のツールの左右を決定するステップと、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、を含む。
【０００６】
[06]  更に、前記コンピュータ可読記憶媒体について、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含む。
【０００７】
[07]  いくつかの実装形態では、方法は、少なくとも１つの画像フレームを受け取るステップを含む。前記方法は、更に、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップを含む。前記方法は、更に、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップを含み、前記１又は２以上のオブジェクトはツールである。前記方法は、更に、前記１又は２以上のツールの左右を決定するステップを含む。前記方法は、更に、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップを含む。
【０００８】
[08]  更に、前記方法について、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記方法は、更に、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記方法は、更に、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記方法は、更に、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。
【０００９】
[09]  本明細書の残りの部分及び添付図面の参照により、本明細書に開示する特定の実装形態の特質及び利点の更なる理解を達成することができる。
【図面の簡単な説明】
【００１０】
【図１】本明細書で説明する実装形態のために用いることができる例示的な作業環境のブロック図である。
【図２】いくつかの実装形態による、ツールを分析するための例示的なフロー図である。
【図３】いくつかの実装形態による、ツールの左右を含むツールの特性と、利き手ツールとを決定するための例示的なフロー図である。
【図４】いくつかの実装形態による、２つのツールと、ツールのタイプを表示するラベルとを示す例示的なスクリーンショットを示す図である。
【図５】いくつかの実装形態による、２つのツールと、ツールの左右を表示するラベルとを示す例示的なスクリーンショットを示す図である。
【図６】いくつかの実装形態による、２つのツールと、利き手ツールを表示するラベルとを示す例示的なスクリーンショットを示す図である。
【図７】いくつかの実装形態による、ツールの左右を決定するための例示的なフロー図である。
【図８】いくつかの実装形態による、カメラを位置決めするための例示的なフロー図である。
【図９】本明細書で説明するいくつかの実装形態のために用いることができる例示的なネットワーク環境のブロック図である。
【図１０】本明細書で説明するいくつかの実装形態のために用いることができる例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００１１】
[20]  本明細書で説明する実装形態は、外科手術ビデオにおいて利き手ツールを検出する。本明細書でより詳細に説明するように、システムは、ビデオストリームの画像フレーム内の利き手ツールをリアルタイムで識別する。様々な実装形態では、利き手ツールは、主要機能（例えば、切断、焼灼等）を有するツールである。非利き手ツールは、補助ツールと呼ぶことができる。システムは、ツール分類結果及び左右推定を用いて、利き手ツールを識別する。
【００１２】
[21]  いくつかの実装形態では、システムは、画像フレームを受け取る。様々な実装形態では、画像フレームは、ビデオストリームの一連の画像フレームのうちの１つとすることができる。次に、システムは、画像フレーム内の１又は２以上のオブジェクトを検出し、オブジェクトを１又は２以上のツール分類に分類する。様々な実装形態では、オブジェクトは、外科手術ツールである。システムは、ツールの左右を決定する。システムは、ツールの分類及びツールの左右に少なくとも部分的に基づいて、１又は２以上のツールから利き手ツールを決定する。全ての提示されたツールの左右は、利き手ツール識別において、重要な役割を果たす。
【００１３】
[22]  いくつかの実装形態では、システムは、複数の画像フレームのうちの少なくとも１つの画像フレームを受け取る。次に、システムは、少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出し、１又は２以上のオブジェクトを１又は２以上のツール分類に分類し、１又は２以上のオブジェクトはツールである。また、システムは、各ツールについて、そのツールが補助的なものであるか又は非補助的なものであるかを判定する。次に、システムは、各ツールについて、ツールの左右を決定する。
【００１４】
[23]  本明細書でより詳細に説明するように、外科手術中に、実装形態は、カメラを自動的に移動させて、カメラが利き手外科手術ツールを追跡して、外科医の何らかの負担を軽減するようになっている。実装形態は、カメラを自動的に制御して、手動で確実に、関心領域が、カメラの視野の中心に位置するようにする。
【００１５】
[24]  図１は、本明細書で説明する実装形態のために用いることができる例示的な作業環境１００のブロック図を示す。本明細書で説明する様々な実装形態を実行するシステム１０２が示されている。システム１０２は、カメラ１０４を制御し、カメラ１０４は、作業領域１０６のビデオを取り込む。システム１０２は、カメラ１０４に、ネットワーク１１０を介してカメラ１０４からビューアクライアント１０８にビデオストリームを送らせる。本明細書でより詳細に説明するように、システム１０２は、カメラ１０４によって取り込まれるツール１１２及び１１４の特性を分析する。
【００１６】
[25]  図２は、いくつかの実装形態による、ツールを分析するための例示的なフロー図を示す。図示のように、ブロック２０２において、図１のシステム１０２などのシステムが、多クラスオブジェクト検出及び分類を実行する。本明細書でより詳細に説明するように、システム１０２は、画像フレーム内のオブジェクトを検出して分類する。例えば、システム１０２は、カメラ１０４によって取り込まれる画像フレーム内のツール１１２及び１１４を検出することができる。ブロック２０４において、システム１０２は、ディープラーニング技術を利用して、ツールを分類することができる。ブロック２０６において、システム１０２は、ツールの左右を決定する。例えば、システム１０２は、特定のツールがユーザの右手又は左手によって使用されるかを判定する。システム１０２は、ブロック２０４において、ディープラーニング技術を利用して、ツールの左右を決定することもできる。システム１０２は、ツール分類及び左右の決定のためにディープラーニングネットワークを利用して、精度及び速度のために軽量モデルを提供する。
【００１７】
[26]  ブロック２０８において、システム１０２は、どのツールが利き手ツールであるかを判定する。様々な実装形態では、利き手ツールは、使用される主要ツールである。他のツールは、利き手ツールを用いる主要作業においてユーザを助けるので、補助ツールと呼ぶことができる。例えば、外科手術の文脈では、利き手ツールは、患者の組織を切断するために用いられるクリッパーとすることができる。更に、利き手ツールは、通常、ユーザの利き手によって扱われる。非利き手ツールは、グラスパーなどの補助ツールとすることができ、ユーザは、グラスパーを用いて、特定の組織を掴んで、クリッパーによって切断されるべき組織から引き離すことができる。これらのステップを対象とする更なる例示的な実装形態について、本明細書でより詳細に説明する。
【００１８】
[27]  利き手ツール（例えば、利き手外科手術ツール）を検出して識別することは、様々な自然ユーザインターフェイスにとって有益である。例えば、利き手ツールの位置が与えられると、カメラは、自動的にツールの方に移動して、ツールが再び中心に位置するようにすることができる。これにより、ユーザ（例えば、医師等）に、より良く見える。様々な実装形態では、ビデオのフレーム毎に利き手ツールを位置決めするために、異なるタイプのモデルをトレーニングすることができる。したがって、全ての予測を規則的に組み合わせて、最終結果を生成することができる。
【００１９】
[28]  図３は、いくつかの実装形態による、ツールの左右を含むツールの特性と、利き手ツールとを決定するための例示的なフロー図を示す。以下により詳細に説明するように、システムは、各ツールの左右を決定することと、利き手ツールを決定することとを含む様々な機能を実行する。図２及び図３の両方を参照すると、ブロック３０２において、方法を開始して、システム１０２などのシステムが、少なくとも１つの画像フレームを受け取る。様々な実装形態では、受け取られた画像フレームは、ビデオストリームの一連の画像フレームからのものである。
【００２０】
[29]  ブロック３０４において、システム１０２は、受け取られた画像フレーム内の１又は２以上のオブジェクトを検出する。様々な実装形態では、システム１０２は、オブジェクト認識技術を用いて、受け取られた画像内のオブジェクトを検出することができる。
【００２１】
[30]  図４は、いくつかの実装形態による、２つのツールと、ツールのタイプを表示するラベルとを示す例示的なスクリーンショット４００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。図４の他の態様については、以下のステップと関連して、以下により詳細に説明する。
【００２２】
[31]  ブロック３０６において、システム１０２は、１又は２以上のオブジェクトを、１又は２以上のツール分類に分類し、１又は２以上のオブジェクトはツールである。この特定の例では、ツールは外科手術ツールである。
【００２３】
[32]  様々な実装形態では、１又は２以上のツール分類は、ツールの機能を含むツールのタイプを表示する。例えば、図４を参照すると、システムは、オブジェクト４１２をグラスパーツール又はグラスパーとして分類する。したがって、オブジェクト４１２は、ツール４１２又はグラスパー４１２と呼ぶことができる。同様に、システムは、オブジェクト４１４をクリッパーツール又はクリッパーと分類する。したがって、オブジェクト４１４は、ツール４１４又はクリッパー４１４と呼ぶことができる。
【００２４】
[33]  例示的なツールがグラスパー及びクリッパーである文脈において、様々な実装形態を説明するが、これらの実装形態及び他の実装形態は、他の様々なタイプのツールにも適用される。例えば、ツールは、メス、ハサミ、ノコギリ等などの切断又は切開器具を含むことができる。ツールは、バイポーラ鉗子及びイルリガートルを含むことができる。ツールは、平滑鉗子及び歯付き鉗子、タオルクランプ、血管クランプ、臓器保持器等などの把持又は保持器具を含むことができる。ツールは、クランプ、止血鉗子、非外傷性止血鉗子等などの止血器具を含むことができる。ツールは、Ｃ字形層状フック、鈍歯付きフック、鋭歯付きフック、溝付きプローブ、タンプ（ｔａｍｐ）鉗子等などの開創器具を含むことができる。ツールは、針保持器、外科用縫合針、ステープラー、クリップ、粘着テープ等などの組織統合器具及び材料を含むことができる。検出される特定のツールは、変わる場合があり、特定の実装形態に依存する。外科手術ツールの文脈において、実装形態を本明細書で説明するが、これらの実装形態及び他の実装形態を、他のツール（例えば、非外科手術ツール）に適用することもできる。
【００２５】
[34]  様々な実装形態では、システム１０２は、１又は２以上のツールに対して視覚インジケータを生成する。次に、システム１０２は、少なくとも１つの画像内の１又は２以上のツールの各々の境界を画定する。例えば、図４を更に参照すると、バウンディングボックス４２２又はボックス４２２が示されており、これは、グラスパー４１２の境界を画定する視覚インジケータである。また、バウンディングボックス４２４又はボックス４２４が示されており、これは、クリッパー４１４の境界を画定する視覚インジケータである。ボックス４２２及び４２４は、この例では、方形として示されている。視覚インジケータの実際の形状は、任意の形状とすることができる。例えば、いくつかの実装形態では、視覚インジケータは、ツールの全体の形状に従うことができる。様々な実装形態では、ボックス４２２及び４２４及び関連するラベルは、ユーザが見るために、ビデオフレーム上にリアルタイムで重ね合わされる。これによって、ユーザが、どのツールがディスプレイ上に表示されているかを知るのを助ける。いくつかの実装形態では、システム１０２は、ユーザが、視覚インジケータをオフにすることができるようにすることができる。視覚インジケータをオフにした場合でも、システム１０２は、他の目的（例えば、カメラを自動的に調整して、特定のツール（例えば、利き手ツール等）に焦点を合わせること）のために収集された情報を用いることができる。
【００２６】
[35]  様々な実装形態では、システム１０２は、ツールのタイプを用いて、少なくとも１つの画像内の各ツールにラベル付けする。図４に示すように、システム１０２は、テキスト（例えば、「グラスパー」、「クリッパー」等）を用いて、各ツールにラベル付けすることができる。
【００２７】
[36]  様々な実装形態では、各オブジェクトについて、システム１０２は、ツールの各々の特徴を識別し、特徴は、形状、向き及び色のうちの１又は２以上を含むことができる。
【００２８】
[37]  いくつかの実装形態では、システム１０２は、各ツールの形状を決定する。例えば、クリッパーは、切断のための特定の形状を有する２つの対向する刃を有することができる。また、グラスパーは、把持のための特定の形状を有する対向するアームを有することができる。
【００２９】
[38]  いくつかの実装形態では、システム１０２は、各ツールの位置を決定する。例えば、クリッパーは、組織を切断するために、直立位置に配置することができ、グラスパーは、組織を引っ張るために、傾斜位置に配置することができる。
【００３０】
[39]  いくつかの実装形態では、システム１０２は、各ツールの色を決定する。例えば、クリッパーは、特定の色（例えば、赤等）を有することができる。グラスパーは、異なる色（例えば、青等）を有することができる。様々な実装形態では、システム１０２は、ディープラーニングネットワークを利用して、オブジェクトを様々なツール分類に分類する。いくつかの実装形態では、システム１０２は、ディープラーニングネットワークによって学習された既知の特徴を用いてトレーニングされる分類器を用いる。システム１０２は、既知の特徴を用いて、システム１０２が画像フレーム内で認識する特徴に基づいて、ツールのタイプ又はツール分類を決定する。
【００３１】
[40]  システム１０２は、特徴を、既知のツールの既知の特徴と比較する。次に、システム１０２は、１又は２以上の特徴を、既知のツールの既知の特徴と照合する。様々な実装形態では、システム１０２は、既知の特徴に関する情報を、適切な記憶位置に記憶する。任意の新しい情報を用いて、新たに検出されたツールの特徴を識別するのを助け、かつそれらのツールを分類するのを助けることができる。次に、システム１０２は、照合に基づいて、１又は２以上のオブジェクトを、１又は２以上のツール分類に分類する。
【００３２】
[41]  システム１０２が分析する特定の特徴は、変わる場合があり、特定の実装形態に依存する。例えば、他の特徴は、各ハンドルの形状、各ハンドルの長さ等を含むことができる。
【００３３】
[42]  様々な実装形態では、システム１０２は、タイプ信頼スコアを決定し、タイプ信頼スコアは、１又は２以上のオブジェクトの１又は２以上のツール分類への分類の精度レベルを表示する。いくつかの実装形態では、タイプ信頼スコアは、システム１０２が、所与のツールの検出された特徴を、既知の特徴と、どのくらい密接に照合することができるかに基づいている。いくつかの実装形態では、システム１０２が照合することができる特徴が多いほど、システム１０２は、より高いタイプ信頼スコアを与える。例えば、システム１０２が、いくつかの特徴（例えば、形状、位置、色等）を照合する場合、システム１０２は、より高いタイプ信頼スコア（例えば、０．９７）を与えることができる。システム１０２が、より少ない特徴（例えば、形状及び位置）を照合する場合、システム１０２は、より低いタイプ信頼スコア（例えば、０．８９）を与えることができる。これらの例では、タイプ信頼スコアは、０〜１の範囲内とすることができる。特定の実装形態に応じて、他のスコアリング規定も可能である。例えば、タイプ信頼スコアは、パーセンテージ（例えば、０％〜１００％）とすることができる。いくつかの実装形態では、システム１０２は、図４に示すように、パーセンテージを表示することができる。
【００３４】
[43]  図３を更に参照すると、ブロック３０８において、システムは、各ツールについて、そのツールが補助的なものであるか又は非補助的なものであるかを判定する。様々な実装形態では、システム１０２は、ツールのタイプに少なくとも部分的に基づいて、ツールが補助的なものであるか又は非補助的なものであるかを判定する。例えば、クリッパーのように非補助的であるツールは、通常、利き手で操作され、グラスパーのように補助的であるツールは、通常、非利き手で操作される。したがって、システムが、クリッパーなどの非補助的なツールが右にあることを検出する場合、システム１０２は、クリッパーが右手によって操作されていると判断する。いくつかの実装形態では、システム１０２は、ユーザが、より多くの情報をシステム１０２に提供するために、ツールが補助的なものであるか又は非補助的なものであるかどうかを入力することができるようにすることができる。
【００３５】
[44]  ブロック３１０において、システムは、各ツールについて、ツールの左右を決定する。様々な実装形態では、システム１０２は、ディープラーニングネットワークを利用して、各ツールの左右を決定する。いくつかの実装形態では、システム１０２は、ディープラーニングネットワークによって学習された特徴を用いてトレーニングされる分類器を用いて、各ツールの左右を予測する。様々な実装形態では、システム１０２は、高い計算効率でリアルタイムで左右を決定する。様々な実装形態では、システム１０２は、ディープラーニングに少なくとも部分的に基づいて、特定のツールの左右を決定する。
【００３６】
[45]  様々な実装形態では、システム１０２は、左右信頼スコアを決定し、左右信頼スコアは、左右の決定の精度レベルを表示する。いくつかの実装形態では、左右信頼スコアは、システム１０２が所与のツールの左右をどのくらい正確に決定することができるかに少なくとも部分的に基づいている。いくつかの実装形態では、システム１０２が左右を決定するための情報を多く有するほど、システム１０２が与えることができる左右信頼スコアは高くなる。例えば、画像内のツールが１つの向きに著しい信号を供給する場合、システム１０２は、それに、より高い左右信頼スコア（例えば、０．９９）を与えることができる。それ以外の場合では、ツールがごちゃごちゃしている背景の前にある場合、著しい向きを検出することができず、システム１０２は、それに、より低い左右信頼スコアを与えることができる。これらの例では、左右信頼スコアは、０〜１の範囲内とすることができる。特定の実装形態に応じて、他のスコアリング規定も可能である。例えば、左右信頼スコアは、パーセンテージ（例えば、０％〜１００％）とすることができる。いくつかの実装形態では、システム１０２は、図５に示すように、パーセンテージを表示することができる。
【００３７】
[46]  図５は、いくつかの実装形態による、２つのツールと、ツールの左右を表示するラベルとを示す例示的なスクリーンショット５００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。また、グラスパー４１２の境界を画定する視覚インジケータであるボックス４２２と、クリッパー４１４の境界を画定する視覚インジケータであるボックス４２４とが示されている。様々な実装形態では、システム１０２は、各ツールの左右を用いて、画像フレーム４０２内の各ツールにラベル付けする。例えば、図示のように、システム１０２は、ツールが左手で使用されているか又は右手で使用されているかを表示するためのテキスト（例えば、「左」、「右」等）を用いて、各ツールにラベル付けすることができる。
【００３８】
[47]  ブロック３１２において、システムは、１又は２以上のツールの１又は２以上の分類に少なくとも部分的に基づいて、かつ１又は２以上のツールの左右に少なくとも部分的に基づいて、１又は２以上のツールから利き手ツールを決定する。様々な実装形態では、システム１０２は、高い計算効率でリアルタイムで利き手ツールの決定を実行する。本明細書で示すように、利き手ツールは、使用される主要ツールである。例えば、外科手術の文脈では、利き手ツールは、患者の組織を切断するために用いられるクリッパーとすることができる。更に、利き手ツールは、通常、ユーザの利き手によって扱われる。利き手ツールは、通常、非補助的である。例えば、利き手ツールは、クリッパー及びハサミなどの切断ツール、バイポーラ鉗子などの焼灼ツール等を含む。
【００３９】
[48]  他のツールは、利き手ツールを用いる主要作業においてユーザを助けるので、補助ツールと呼ぶことができる。非利き手ツールは、グラスパーなどの補助ツールとすることができ、ユーザは、グラスパーを用いて、特定の組織を掴んで、クリッパーによって切断されるべき組織から引き離すことができる。他の補助ツールは、把持ツール、フックツール、灌注ツール等を含むことができる。
【００４０】
[49]  利き手ツールは、通常、ユーザの利き手によって操作される。したがって、システム１０２は、特定のツールの左右を決定する。したがって、いくつかの実装形態では、システム１０２は、非補助的なツールが、ユーザの右手によって使用されていることを決定する。システム１０２は、右手が利き手であることを決定することができる。システム１０２は、更に、利き手によって操作されているツール（例えば、右のツール）が利き手ツールであると決定することができる。
【００４１】
[50]  図６は、いくつかの実装形態による、２つのツールと、利き手ツールを表示するラベルとを示す例示的なスクリーンショット６００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。また、グラスパー４１２の境界を画定する視覚インジケータであるボックス４２２と、クリッパー４１４の境界を画定する視覚インジケータであるボックス４２４とが示されている。様々な実装形態では、システム１０２は、画像フレーム４０２内のツールに、利き手ツールとしてラベル付けする。例えば、図示のように、システム１０２は、ツール４１４が利き手ツールであることを表示するためのテキストを用いて、ツール４１４にラベル付けすることができる。
【００４２】
[51]  いくつかの実装形態では、システム１０２は、色分けを用いて、利き手ツールを表示することができる。例えば、システム１０２は、赤いボックス又は他の色のボックスを用いて利き手ツールを表示して、利き手ツールを強調表示することができる。
【００４３】
[52]  ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
【００４４】
[53]  図７は、いくつかの実装形態による、ツールの左右を決定するための例示的なフロー図を示す。ブロック７０２において、方法を開始して、システム１０２などのシステムが、各ツールのタイプを決定する。ブロック７０４において、システム１０２は、画像フレーム内の各ツールの位置を決定する。ブロック７０６において、システム１０２は、画像フレーム内の各ツールの位置に少なくとも部分的に基づいて、各ツールの左右を決定する。
【００４５】
[54]  ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
【００４６】
[55]  様々な実装形態では、システム１０２は、利き手ツール情報を用いて、自然ユーザインターフェイス設計に、オートフォーカス、自動警告システム、外科手術ワークフロー分析（例えば、内視鏡手術、腹腔鏡手術等）、及び外科手術スキル評価などの特徴を提供する。以下の例は、外科手術中に使用されているツールのビデオを取り込んでいるカメラを自動的に位置決めすることを対象とする。
【００４７】
[56]  図８は、いくつかの実装形態による、カメラを位置決めするための例示的なフロー図を示す。例えば、システム１０２は、利き手ツールの決定に少なくとも部分的に基づいて、カメラを制御することができる。いくつかの実施形態では、システム１０２は、利き手ツールの決定に少なくとも部分的に基づいて、利き手ツールの画像を変更する。ブロック８０２において、方法を開始して、システム１０２などのシステムが、画像フレーム内の利き手ツールの位置を決定する。ブロック８０４において、利き手ツールが画像フレームの中心にある場合、システム１０２は、カメラをその現在位置のままにしておく。ブロック８０６において、利き手ツールが画像フレームの中心にない場合、システム１０２は、利き手ツールが画像フレームの中心にあるように、カメラを移動させる。
【００４８】
[57]  ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
【００４９】
[58]  本明細書で説明する実装形態は、様々な利益を提供する。例えば、実装形態は、外科手術中に使用される外科手術ツールの左右を決定する。また、本明細書で説明する実装形態は、外科手術中に利き手ツールを決定する。
【００５０】
[59]  本明細書で説明する実装形態は、異なる種類の外科手術のためのコンピュータベースの支援における様々な用途において用いることができる。例えば、実装形態は、内視鏡手術及び腹腔鏡手術を含む処置に適用することができる。実装形態を用いて、外科手術中にカメラを自動的に調整する（例えば、自動焦点合わせ等のために、利き手ツールを画像の中心に配置する）ことができる。実装形態は、外科手術中にロボットアームと共に用いることができる。実装形態を用いて、警告を与えることもできる（例えば、ツールが臓器の特定の部分に近すぎる場合等）。
【００５１】
[60]  図９は、本明細書で説明するいくつかの実装形態のために用いることができる例示的なネットワーク環境９００のブロック図を示す。いくつかの実装形態では、ネットワーク環境９００は、サーバ装置９０４及びネットワークデータベース９０６を含むシステム９０２を含む。ネットワーク環境９００は、また、直接又はシステム９０２を介して互いに通信することができるクライアント装置９１０、９２０、９３０及び９４０を含む。ネットワーク環境９００は、また、ネットワーク９５０を含む。
【００５２】
[61]  図示を容易にするために、図９は、システム９０２、サーバ装置９０４及びネットワークデータベース９０６の各々に対して１つのブロックを示し、クライアント装置９１０、９２０、９３０及び９４０については４つのブロックを示す。１つのクライアント装置を用いて外科手術処置のビデオを見る（例えば１人の外科医がビデオを見る）文脈において、いくつかの実装形態を説明するが、これらの実装形態及び他の実装形態は、複数のクライアント装置に適用することができる。例えば、他の内科医、及び／又は他の臨床医、及び／又は学生がビデオを見ることができる。
【００５３】
[62]  ブロック９０２、９０４及び９０６は、複数のシステム、サーバ装置及びネットワークデータベースを表すことができる。また、任意の数のクライアント装置が存在することができる。他の実装形態では、ネットワーク環境９００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの要素を含む他の要素を有することができる。様々な実装形態では、ユーザＵ１、Ｕ２、Ｕ３及びＵ４は、それぞれのクライアント装置９１０、９２０、９３０及び９４０を用いて、互いに又はシステム９０２と対話することができる。
【００５４】
[63]  本明細書で説明する様々な実装形態では、システム９０２のプロセッサ及び／又は任意のクライアント装置９１０、９２０、９３０及び９４０のプロセッサが、本明細書で説明する要素（例えば、情報等）を、１又は２以上のディスプレイ画面上のユーザインターフェイスに表示させる。
【００５５】
[64]  実装形態は、任意のネットワークシステムに適用することができ、かつ／又は個別ユーザに対してローカルに適用することができる。例えば、本明細書で説明する実装形態は、システム９０２及び／又は任意のクライアント装置９１０、９２０、９３０及び９４０によって実装することができる。システム９０２は、スタンドアロンコンピュータ、タブレットコンピュータ、スマートフォン等上で、本明細書で説明する実装形態を実行することができる。システム９０２及び／又はクライアント装置９１０、９２０、９３０及び９４０のいずれかは、個別に又は他の装置と組み合わせて、本明細書で説明する実装形態を実行することができる。
【００５６】
[65]  図１０は、本明細書で説明するいくつかの実装形態のために用いることができる例示的なコンピュータシステム１０００のブロック図を示す。例えば、コンピュータシステム１０００を用いて、図１のシステム１０２及び／又は図９のシステム９０２を実装するとともに、本明細書で説明する実装形態を実行することができる。いくつかの実装形態では、コンピュータシステム１０００は、プロセッサ１００２と、オペレーティングシステム１００４と、メモリ１００６と、入力／出力（Ｉ／Ｏ）インターフェイス１００８とを含むことができる。様々な実装形態では、プロセッサ１００２を用いて、本明細書で説明する様々な機能及び特徴を実装するとともに、本明細書で説明する方法の実装形態を実行することができる。プロセッサ１００２は、本明細書で説明する実装形態を実行するものとして説明されているが、コンピュータシステム１０００の任意の適切な構成要素又は構成要素の組み合わせ、又はコンピュータシステム１０００又は任意の適切なシステムに関連する任意の適切な単複のプロセッサは、説明されるステップを実行することができる。本明細書で説明する実装形態は、ユーザ装置上、サーバ上、又はこれらの両方の組み合わせにおいて実行することができる。
【００５７】
[66]  コンピュータシステム１０００は、また、ソフトウェアアプリケーション１０１０を含み、ソフトウェアアプリケーション１０１０は、メモリ１００６に又は他の任意の適切な記憶位置又はコンピュータ可読媒体に記憶することができる。ソフトウェアアプリケーション１０１０は、命令を与え、この命令によって、プロセッサ１００２は、本明細書で説明する実装形態及び他の機能を実行することができる。ソフトウェアアプリケーションは、また、１又は２以上のネットワークに関連する様々な機能及びネットワーク通信を実行するためのネットワークエンジンなどのエンジンを含むことができる。コンピュータシステム１０００の構成要素は、１又は２以上のプロセッサ又はハードウェア装置の任意の組み合わせ、及びハードウェア、ソフトウェア、ファームウェア等の任意の組み合わせによって実装することができる。
【００５８】
[67]  図示を容易にするために、図１０は、プロセッサ１００２、オペレーティングシステム１００４、メモリ１００６、Ｉ／Ｏインターフェイス１００８及びソフトウェアアプリケーション１０１０の各々に対して１つのブロックを示す。これらのブロック１００２、１００４、１００６、１００８及び１０１０は、複数のプロセッサ、オペレーティングシステム、メモリ、Ｉ／Ｏインターフェイス及びソフトウェアアプリケーションを表すことができる。様々な実装形態では、コンピュータシステム１０００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの要素を含む他の要素を有することができる。
【００５９】
[68]  特定の実施形態に関連して説明してきたが、これらの特定の実施形態は単なる例示であり、限定的なものではない。例に示される概念は、他の例及び実装形態に適用することができる。
【００６０】
[69]  様々な実装形態では、ソフトウェアは、１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読媒体に符号化される。ソフトウェアは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装形態及び他の機能を実行するように作動可能である。
【００６１】
[70]  特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語等を含む任意の適切なプログラミング言語を使用することができる。手続き型又はオブジェクト指向などの異なるプログラミング技術を使用することができる。ルーチンは、単一の処理デバイス又は複数のプロセッサ上で実行することができる。ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、異なる特定の実施形態では変更することができる。いくつかの特定の実施形態では、本明細書で順次示される複数のステップは、同時に実行することができる。
【００６２】
[71]  特定の実施形態は、命令実行システム、装置、又はデバイスによって又はこれに関連して使用するための非一時的コンピュータ可読記憶媒体（機械可読記憶媒体とも呼ばれる）に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの両方の組み合わせにおいて制御ロジックの形態で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装形態及び他の機能を実行するように作動可能である。例えば、ハードウェア記憶装置などの有形媒体を用いて、実行可能命令を含むことができる制御ロジックを記憶することができる。
【００６３】
[72]  特定の実施形態は、プログラマブル汎用デジタルコンピュータを使用することによって、及び／又は特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノ工学システム、構成要素及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、本技術分野で公知の任意の手段によって達成することができる。分散型、ネットワーク型システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又は任意の他の手段によるものとすることができる。
【００６４】
[73]  「プロセッサ」は、データ、信号又は他の情報を処理する任意の適切なハードウェア及び／又はソフトウェアシステム、機構又は構成要素を含むことができる。プロセッサは、汎用中央処理装置を有するシステム、複数の処理装置、機能を実現するための専用回路、又は他のシステムを含むことができる。処理は、地理的位置に限定されるか又は時間的制約を有する必要はない。例えば、プロセッサは、「リアルタイム」、「オフライン」、「バッチモード」等で、その機能を実行することができる。処理の一部は、異なる（又は同じ）処理システムによって、異なる時間及び異なる場所で実行することができる。コンピュータは、メモリと通信する任意のプロセッサとすることができる。メモリは、プロセッサによって実行するための命令（例えば、プログラム又はソフトウェア命令）を記憶するのに適した、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気記憶装置（ハードディスクドライブ等）、フラッシュ、光学記憶装置（ＣＤ、ＤＶＤ等）、磁気又は光ディスク、又は他の有形媒体などの電子記憶装置を含む、任意の適切なデータストレージ、メモリ及び／又は非一時的コンピュータ可読記憶媒体とすることができる。例えば、ハードウェア記憶装置などの有形媒体を用いて、実行可能命令を含むことができる制御ロジックを記憶することができる。命令は、例えば、サーバ（例えば、分散型システム及び／又はクラウドコンピューティングシステム）から配信されるサービス（ＳａａＳ）としてソフトウェアの形態で、電子信号に含まれて、電子信号として供給することもできる。
【００６５】
[74]  図面／図に示す要素の１又は２以上は、より分離された又は一体化された方法で、又は特定用途に応じて有用であるような特定の場合には更に取り外されるか又は作動不能にされて実装することもできることも理解されるであろう。上記の方法のいずれかをコンピュータに実行させるために機械可読媒体に記憶することができるプログラム又はコードを実装することも本発明の精神及び範囲内である。
【００６６】
[75]  本明細書の説明及び以下に続く特許請求の範囲で使用される「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈によって別途明確に指定しない限り、複数の参照物を含む。また、本明細書の説明及び以下に続く特許請求の範囲で使用される「内（ｉｎ）」の意味は、文脈によって別途明確に指定しない限り、「内（ｉｎ）」及び「上（ｏｎ）」を含む。
【００６７】
[76]  したがって、本明細書で特定の実施形態を説明したが、修正、様々な変更、及び置換の自由が、以上の開示において意図されており、場合によっては、説明する範囲及び精神から逸脱することなく、特定の実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されることは理解されるであろう。したがって、特定の状況又は内容を実質的な範囲及び精神に適合させるように、多くの修正を行うことができる。
【符号の説明】
【００６８】
１００  作業環境
１０２  システム
１０４  カメラ
１０６  作業領域
１０８  ビューアクライアント
１１０  ネットワーク
１１２，１１４  ツール
２０２  多クラスオブジェクト検出及び分類
２０４  ディープラーニング
２０６  ツールの左右の決定
２０８  利き手ツールの決定
３０２  少なくとも１つの画像フレームを受け取る
３０４  画像フレーム内の１又は２以上のオブジェクトを検出
３０６  １又は２以上のオブジェクトを１又は２以上のツール分類に分類
３０８  各ツールが補助的なものであるか又は非補助的なものであるかを判定
３１０  各ツールの左右を決定
３１２  １又は２以上のツールから利き手ツールを決定
４００  スクリーンショット
４０２  画像フレーム
４１２  オブジェクト／ツール／グラスパー
４１４  オブジェクト／ツール／クリッパー
４２２  バウンディングボックス／ボックス
４２４  バウンディングボックス／ボックス
５００  スクリーンショット
６００  スクリーンショット
７０２  各ツールのタイプを決定
７０４  各ツールの位置を決定
７０６  画像フレーム内の各ツールの位置に少なくとも部分的に基づいて、各ツールの左右を決定
８０２  画像フレーム内の利き手ツールの位置を決定
８０４  利き手ツールが画像フレームの中心にある場合、カメラをその現在位置のままにしておく
８０６ 利き手ツールが画像フレームの中心にない場合、利き手ツールが画像フレームの中心にあるように、カメラを移動させる
９００  ネットワーク環境
９０２  システム
９０４  サーバ装置
９０６  ネットワークデータベース
９１０，９２０，９３０，９４０  クライアント装置
９５０  ネットワーク
１０００  コンピュータシステム
１００２  プロセッサ
１００４  オペレーティングシステム
１００６  メモリ
１００８  入力／出力（Ｉ／Ｏ）インターフェイス
１０１０  ソフトウェアアプリケーション
Ｕ１，Ｕ２，Ｕ３，Ｕ４  ユーザ
【図１】
2021527272.tif 000003
【図２】
2021527272.tif 000004
【図３】
2021527272.tif 000005
【図４】
2021527272.tif 000006
【図５】
2021527272.tif 000007
【図６】
2021527272.tif 000008
【図７】
2021527272.tif 000009
【図８】
2021527272.tif 000010
【図９】
2021527272.tif 000011
【図１０】
2021527272.tif 000012
【国際調査報告】
2021527272.tif 000013
2021527272.tif 000014
2021527272.tif 000015