(57)【特許請求の範囲】
【請求項１】
手術画像上の関心領域を識別するためのシステムであって、
複数のオーバーレイパターンからオーバーレイパターンを選択するための入力と、
手術画像データを生成するためのカメラと、
前記手術画像データを前記カメラから受け取り、処理するカメラ制御ユニットと、
前記オーバーレイパターンを前記手術画像データに適用するための、前記カメラ制御ユニット上で実行されるソフトウェアと、
前記手術画像データおよび前記オーバーレイパターンを表示するための、前記カメラ制御ユニットによって制御されるディスプレイと
を備え、
前記手術画像データが、映像データ、静止フレームデータ、およびそれらの組合せからなる群から選択される、システム。
【請求項２】
前記手術画像データおよび前記オーバーレイパターンを保存するための記憶装置をさらに備える、請求項1に記載のシステム。
【請求項３】
前記オーバーレイパターンが、前記オーバーレイパターンの1つまたは複数の領域を識別するためのキーを含む、請求項1に記載のシステム。
【請求項４】
前記オーバーレイパターンが格子を含む、請求項1に記載のシステム。
【請求項５】
前記オーバーレイパターンが十字線を含む、請求項1に記載のシステム。
【請求項６】
前記十字線の1つが、表示されたとき前記手術画像データの中央に置かれる、請求項5に記載のシステム。
【請求項７】
前記オーバーレイパターンが四分円を含む、請求項1に記載のシステム。
【請求項８】
前記オーバーレイパターンが、1つまたは複数のハッシュマークを含む、請求項1に記載のシステム。
【請求項９】
前記1つまたは複数のハッシュマークの少なくともいくつかが、表示されたとき前記手術画像データの少なくとも1つの縁部に位置する、請求項8に記載のシステム。
【請求項１０】
前記オーバーレイパターンが円を含む、請求項1に記載のシステム。
【請求項１１】
前記オーバーレイパターンが卵形線を含む、請求項1に記載のシステム。
【請求項１２】
前記オーバーレイパターンが、前記カメラ制御ユニットによって調整することができる少なくとも1つの特性を有する、請求項1に記載のシステム。
【請求項１３】
前記特性が、明るさ、コントラスト、不透明度、解像度、および色からなる群から選択される、請求項12に記載のシステム。
【請求項１４】
前記少なくとも1つの特性が、前記カメラ上に位置する1つまたは複数のボタンを介して調整され得る、請求項13に記載のシステム。
【請求項１５】
前記少なくとも1つの特性が、タッチスクリーンを介して調整され得る、請求項13に記載のシステム。
【請求項１６】
前記少なくとも1つの特性が、前記カメラ制御ユニット上で実行される音声認識ソフトウェアを介して調整され得る、請求項13に記載のシステム。
【請求項１７】
手術画像上の関心領域を識別するためのシステムであって、
複数のオーバーレイパターンからオーバーレイパターンを選択するための入力と、
手術画像データのソースと、
前記ソースと通信する画像処理ユニットであって、前記手術画像データを受け取り、関心領域を識別するために前記手術画像データを前記オーバーレイパターンと組み合わせるように構成された画像処理ユニットと、
前記オーバーレイパターンと組み合わされた前記手術画像データを受け取るための、前記画像処理ユニットと通信する宛先と
を備え、
前記手術画像データが、映像データ、静止フレームデータ、およびそれらの組合せからなる群から選択される、システム。
【請求項１８】
前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記画像処理ユニット上で実行されるソフトウェアをさらに備える請求項17に記載のシステム。
【請求項１９】
手術画像データの前記ソースがカメラを含む、請求項17に記載のシステム。
【請求項２０】
手術画像データの前記ソースが記憶媒体を含む、請求項17に記載のシステム。
【請求項２１】
手術画像データの前記ソースがカメラ制御ユニットを含む、請求項17に記載のシステム。
【請求項２２】
前記画像処理ユニットがカメラ制御ユニットである、請求項17に記載のシステム。
【請求項２３】
前記宛先がディスプレイを含む、請求項17に記載のシステム。
【請求項２４】
前記ディスプレイが、複数のソースからの手術画像データを同時に表示するように構成されている、請求項23に記載のシステム。
【請求項２５】
前記ディスプレイが、複数のソースからの手術画像データをオーバーレイパターンと組み合わせて同時に表示するように構成されている、請求項24に記載のシステム。
【請求項２６】
前記宛先が記憶媒体を含む、請求項17に記載のシステム。
【請求項２７】
手術画像上の関心領域を識別するためのシステムの動作方法であって、
オーバーレイパターンを選択する手段が、複数のオーバーレイパターンからオーバーレイパターンを選択するステップと、
手術画像データを生成する手段が、前記手術画像データのソースを用意するステップと、
前記手術画像データを送信する手段が、前記手術画像データを前記ソースからカメラ制御ユニットに送信するステップと、
前記手術画像データをオーバーレイパターンと組み合わせる手段が、前記カメラ制御ユニット内で前記手術画像データを前記オーバーレイパターンと組み合わせるステップと、
前記オーバーレイパターンと組み合わされた前記手術画像データを送信する手段が、前記オーバーレイパターンと組み合わされた前記手術画像データをディスプレイに送信するステップと、
前記オーバーレイパターンと組み合わされた前記手術画像データを表示する手段が、前記オーバーレイパターンと組み合わされた前記手術画像データを前記ディスプレイ上で表示するステップと
を含み、
前記手術画像データが、映像データ、静止フレームデータ、およびそれらの組合せからなる群から選択される、方法。
【請求項２８】
ソフトウェアを用意する手段が、前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記カメラ制御ユニット上で実行される前記ソフトウェアを用意するステップをさらに含む、請求項27に記載の方法。
【請求項２９】
前記ディスプレイが、オーバーレイパターンと組み合わされた、複数のソースからの手術画像データを同時に表示するように構成されている、請求項27に記載の方法。
【請求項３０】
手術画像データの前記ソースがカメラを含む、請求項27に記載の方法。
【請求項３１】
手術画像データの前記ソースが記憶媒体を含む、請求項27に記載の方法。
【請求項３２】
前記手術画像データを記憶媒体に記憶する手段が、前記オーバーレイパターンと組み合わされた前記手術画像データを、前記カメラ制御ユニットと通信する記憶媒体に記憶するステップをさらに含む、請求項27に記載の方法。
【請求項３３】
前記オーバーレイパターンが、前記オーバーレイパターンの1つまたは複数の領域を識別するためのキーを含む、請求項27に記載の方法。
【請求項３４】
前記オーバーレイパターンが格子を含む、請求項27に記載の方法。
【請求項３５】
前記オーバーレイパターンが十字線を含む、請求項27に記載の方法。
【請求項３６】
前記十字線の1つが、表示されたとき前記手術画像データの中央に置かれる、請求項35に記載の方法。
【請求項３７】
前記オーバーレイパターンが四分円を含む、請求項27に記載の方法。
【請求項３８】
前記オーバーレイパターンが、1つまたは複数のハッシュマークを含む、請求項27に記載の方法。
【請求項３９】
前記1つまたは複数のハッシュマークの少なくともいくつかが、表示されたとき前記手術画像データの少なくとも1つの縁部に位置する、請求項38に記載の方法。
【請求項４０】
前記オーバーレイパターンが円を含む、請求項27に記載の方法。
【請求項４１】
前記オーバーレイパターンが卵形線を含む、請求項27に記載の方法。
【請求項４２】
前記オーバーレイパターンが、前記カメラ制御ユニットによって調整することができる少なくとも1つの特性を有する、請求項27に記載の方法。
【請求項４３】
前記特性が、明るさ、コントラスト、不透明度、解像度、および色からなる群から選択される、請求項42に記載の方法。
【請求項４４】
画像データの前記ソースを調整する手段が、関心領域が前記オーバーレイパターンの領域近傍に位置するように画像データの前記ソースを調整するステップをさらに含む、請求項27に記載の方法。
【請求項４５】
前記手術画像データ内の関心領域を識別する手段が、前記オーバーレイパターンを参照することによって前記手術画像データ内の関心領域を識別するステップを含む、請求項27に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外科的処置からの画像を表示するためのシステムに関する。詳細には、本発明は、現在進行中の外科的処置からの画像上にオーバーレイ補助(aid)を生成するための方法および装置に関する。
【背景技術】
【０００２】
現代の医学では、ますます技術的な画像化法を使用して治療が実施されている。たとえば、小型カメラが患者の体内に挿入され、カメラによって撮影された画像が、医師の作業場に設置されたモニタ上で、医師に対して表示される。このようにして、医師は、たとえば診断のために内部臓器または関節を調べることができ、また手術を低侵襲的に実施することもできる。医師の作業場、すなわち無菌室内にモニタを配置することによって、医師は、対応するモニタ画像が医療画像化システムによって撮像されつつあるモニタ上の実況中継で、自分が患者に対して責任を負っている手術すべてを追跡することができる。したがって、内視鏡法、関節鏡視法、および腹腔鏡法など様々な低侵襲手術中に、外科医は、手術を行いながら、臓器、関節、または他の解剖学的構造の内部を目視で調べることができる。
【０００３】
最近の開発により、様々な視聴覚デバイスを組み込むシステムが生まれ、手術室内、または手術室から離れて位置する、補助または観察中であり得る他者が外科的処置をよりよく監視することができるようになった。したがって、手術中に獲得される静止画像および実況映像を共に、手術室内および手術室の外にある様々な異なるモニタまたは記録デバイスに出力することができる。さらに、様々なデバイスがこれらのシステムに組み込まれ、外科医、または補助もしくは観察している他の個人が、システムの画像化機能を様々な形で、様々な異なる目的のために、同時または様々な時に利用することができるようになった。
【０００４】
さらに、複数の人が手術を補助または観察しているとき、実況中継の手術モニタ上に示されている患者の体内の、いくつかの関心領域に対する注意を促すことや、関心領域を識別することがしばしば必要である。たとえば、教官は、手術を観察しながら、生徒に対して、ある内部臓器または構造、病理または手順に対する注意を促したいと望む可能性がある。さらに、監督外科医が執刀医に対し、関心領域内で縫合を増やすように指示することができる。
【０００５】
これらの外科的処置中のコミュニケーションをさらに改善するために、実況中継の手術モニタ上に表示されているいくつかの関心領域に対する注意を促す、または関心領域を識別するための方法またはデバイスを有することが望ましい。これは、特定の関心領域に関する効率的かつ明瞭なコミュニケーションを促進し、混乱、誤解、および誤った解釈を減らすことになる。
【０００６】
外科医もしくは助手または手術を補助もしくは観察する他者によるレーザポインタもしくはカーソルの使用、またはタッチスクリーン上で「円を描く」もしくは注釈することを含めて、実況中継の手術モニタ上で関心領域を識別するために、いくつかの方法およびデバイスが試みられている。これらの知られている方法には、多数の欠点がある。第1に、外科医は、レーザポインタを操作し、またはタッチスクリーン上で指示をし、一方、外科的処置をも安全に実施することはできない。第2に、これらの知られている方法は、カーソルの使用を含めて、余分に手をかけることを必要とするが、外科医は、しばしばそのような手をかけることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この背景に照らして、本発明の目的は、実況中継の手術モニタ上に表示された画像上の関心領域を識別するための方法および装置を提供することである。
【０００８】
本発明の他の目的は、単純かつコスト効果的にそのような方法および装置を提供することである。
【０００９】
関心領域を識別するための方法および/または装置の画像特性が構成可能および調整可能であることが、本発明の他の目的である。
【００１０】
本発明の他の目的は、医師が識別された関心領域内およびその周りで画像の特性を構成および調整することができるようにすることである。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、手術モニタ上で関心領域を識別するための構成可能なオーバーレイパターンが提供される。他の態様では、オーバーレイパターンによって画定された関心領域を、参照しやすいように番号および/または文字など座標で分類する(labelled with)ことができる。たとえば、オーバーレイパターンが格子である場合、格子の行および列を、デカルト座標で分類することができる。本発明の他の態様によれば、識別された関心領域内および/またはその周りの手術画像の特性を調整することができる。本発明の他の態様によれば、オーバーレイパターンは、画像アーカイブから再表示された表示画像に適用されてもよい。また、適用されたオーバーレイパターンを、引き続きアーカイブに保存される、取り込まれた画像上で維持することができる。
【００１２】
さらに、この新規の方法および装置は、オーバーレイパターンを含む手術画像が、無菌室の外でさらに処理するために直接使用可能であるという利点を有する。このさらなる処理は、たとえば、遠隔のトレーニング用モニタ上で表示すること、および/または電子患者カードファイル内でアーカイブすることを含むことができる。したがって、この新規なシステムは、応用分野の拡大をもたらす。
【００１３】
一態様では、手術画像上の関心領域を識別するためのシステムであって、手術画像データを生成するためのカメラと、前記手術画像データを前記カメラから受け取り、処理するカメラ制御ユニットと、オーバーレイパターンを前記手術画像データに適用するための、前記カメラ制御ユニット上で実行されるソフトウェアと、前記手術画像データおよび前記オーバーレイパターンを表示するための、前記カメラ制御ユニットによって制御されるディスプレイとを備えるシステムが提供される。このシステムは、手術画像データおよびオーバーレイパターンを保存するための記憶装置をも含むことができる。手術画像データは、映像データ、静止フレームデータ、またはそれらの組合せとすることができる。オーバーレイパターンそれ自体は、格子、十字線、四分円、1つもしくは複数のハッシュマーク、円または卵形線を含むことができ、そのパターンを、表示された画像の中央に置いて、または縁部で適用することができる。また、オーバーレイパターンの、1つまたは複数の領域を識別するためのキーを設けることができる。また、明るさ、コントラスト、不透明度、解像度、および色を含めて、オーバーレイパターンの少なくとも1つの特性を調整可能なものとすることができる。オーバーレイの特性は、前記カメラ上に位置する1つもしくは複数のボタンを介して、タッチスクリーンを介して、またはカメラ制御ユニット上で実行される音声認識ソフトウェアを介して調整することができる。
【００１４】
他の態様では、手術画像上の関心領域を識別するためのシステムであって、手術画像データのソースと、前記ソースと通信する画像処理ユニットであって、手術画像データを受け取り、関心領域を識別するために手術画像データをオーバーレイパターンと組み合わせるように構成された画像処理ユニットと、前記オーバーレイパターンと組み合わされた前記手術画像データを受け取るための、前記画像処理ユニットと通信する宛先とを備えるシステムが提供される。このシステムは、前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記画像処理ユニット上で実行されるソフトウェアをさらに含むことができる。映像データ、静止フレームデータ、およびそれらの組合せとすることができる画像データのソースは、カメラ、記憶媒体、またはカメラ制御ユニットとすることができる。宛先は、複数のソースからの手術画像データをオーバーレイパターンと組み合わせて同時に表示するように構成され得るディスプレイ、または記憶媒体とすることができる。
【００１５】
他の態様では、手術画像上の関心領域を識別するための方法であって、手術画像データのソースを用意するステップと、手術画像データをソースからカメラ制御ユニットに送信するステップと、前記カメラ制御ユニット内で前記手術画像データをオーバーレイパターンと組み合わせるステップと、前記オーバーレイパターンと組み合わされた前記手術画像データをディスプレイに送信するステップと、前記オーバーレイパターンと組み合わされた前記手術画像データを前記ディスプレイ上で表示するステップとを含む方法が提供される。前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記カメラ制御ユニット上で実行されるソフトウェアをも用意することができる。この方法は、前記オーバーレイパターンと組み合わされた手術画像データを、前記カメラ制御ユニットと通信する記憶媒体に保存するステップをも含むことができる。この方法は、所望のパターンを選択するステップと、関心領域が前記オーバーレイパターンの領域近傍に位置するように画像データのソースを調整するステップと、前記オーバーレイパターンを参照することによって前記手術画像データ内の関心領域を識別するステップとをさらに含むことができる。
【００１６】
上述の特徴、および下記で述べることになる特徴は、それぞれ指定された組合せだけでなく、本発明の範囲から逸脱することなしに、他の組合せで、またはそれら自体で使用することができることは、言うまでもない。
【図面の簡単な説明】
【００１７】
【図１】手術画像上の関心領域を識別するためのシステムの一実施形態の概略図である。
【図２】手術画像上の関心領域を識別するためのシステムと共に使用するための入力の一実施形態の図である。
【図３】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、共に不透明度100%である、キーを有する格子の形態にあるオーバーレイパターンの図である。
【図４】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、共に不透明度50%である、キーを有する格子の形態にあるオーバーレイパターンの図である。
【図５】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、不透明度50%である格子と不透明度100%であるキーの形態で組み合わされたオーバーレイパターンの図である。
【図６】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、拡大された手術画像データと組み合わされた、共に不透明度100%である、キーを有する格子の形態にあるオーバーレイパターンの図である。
【図７】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、中央に置かれた十字線の形態にあるオーバーレイパターンの図である。
【図８】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図９】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１０】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１１】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１２】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１３】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１４】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１５】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１６】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１７】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１８】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図１９】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図２０】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【図２１】図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
【発明を実施するための形態】
【００１８】
本発明は、デカルト格子、十字線、四分円などオーバーレイパターンを手術画像上で適用することによって、手術画像データ内のある関心領域を識別するためのシステム10を提供する。それにより、オーバーレイパターンは、外科医がオーバーレイパターンまたはその一部分を参照することによって手術画像データ内の関心領域を参照すること、または関心領域に対する注意を促すことを可能にする。下記で詳細に論じるように、オーバーレイパターンはまた、英数字ラベルまたは座標を含むことができるキーを含むことができ、キーは、参照中のオーバーレイの領域または一部分を識別する際に外科医の助けとなることができる。
【００１９】
図1を参照すると、システム10は、少なくとも1つの処理ユニット14および手術画像データ用の少なくとも1つの宛先16と通信する手術画像データの少なくとも1つのソース12を含む。処理ユニット14に接続された手術画像データの少なくとも1つのソース12は、静止フレーム画像または映像など医療画像を生成する際に使用するための手術画像データを生成、獲得、記憶、監視、または制御する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、この少なくとも1つのソース12は、内視鏡カメラ、ビデオ内視鏡、室内カメラ、ライトカメラ、ブームカメラなど、画像獲得デバイスを含むことができる。同様に、この少なくとも1つのソース12は、従来のビデオカセットレコーダまたはデジタルビデオ記録デバイス(リニアテープデッキまたはDVD記録デバイスなど)、画像キャプチャデバイス、PACS(画像保存通信システム)コンピュータ、あるいは病院情報システムなど、任意の記録、記憶、および/またはアーカイブデバイスまたはシステムを含むことができる。最後に、この少なくとも1つのソース12は、患者モニタ、または様々なデバイスを制御するための中央コンピュータなど、手術画像データをそこから受け取ることができる他のデバイスを含むことも、単に、手術画像データを供給することができる外部デバイスをシステムに接続するための補助入力とすることもできる。
【００２０】
さらに、ソース12は、別のソースから手術画像データを受け取る手術画像データのソースであってもよい。たとえば、ソースは、実況映像を記録しながら映像をコンピュータに供給するリニアテープデッキとすることができる。リニアテープデッキは、下記でさらに述べるように、現在患者に対して使用されている内視鏡カメラから実況映像を受け取ることができる。別の例として、ソース12は、画像を複数の他のソースからクワッドイメージプロセッサ(quad image processor)など処理ユニット(すなわち、画面スプリッタ)にルーティングするためのプロセッサとすることができる。処理ユニットに接続されたソース12は、カメラ制御ユニット(CCU)であってもよい。
【００２１】
少なくとも1つの処理ユニット14は、手術画像データから生成された画像を処理する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、処理ユニット14は、汎用プロセッサ、コンピュータ、またはCCUとすることができ、これらをカメラに組み込むことも、カメラ外部のモジュール型CCUとすることもできる。
【００２２】
少なくとも1つのソース12によって供給される手術画像データ用の少なくとも1つの宛先16は、画像データから生成された手術画像を表示する、または他の方法で画像データをビューワに伝達する、もしくは画像データを記憶する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、この少なくとも1つの宛先は、たとえばフラットパネルディスプレイ、プラズマ画面、またはコンピュータモニタなど、様々なディスプレイのいずれかを含むことができる。さらに、この少なくとも1つの宛先は、記録デバイスまたは記憶媒体を含むことができる。
【００２３】
さらに、手術画像データ用のこの少なくとも1つの宛先16は、手術室内に位置しても、手術室から離れた場所にあってもよい。本発明の一目的は、手術画像データを見る、または分析する人全員がその手術画像データ内の関心領域を識別するのを助けることである。たとえば、手術画像データに適用されるオーバーレイパターンを、手術を実施する外科医が使用し、手術室にいないがどこか他の遠隔の場所でモニタなど宛先16上でオーバーレイパターンを有する手術画像データを見ることができる補助の外科医とコミュニケーションすることができる。さらに、オーバーレイパターンを、教示目的で、講堂または教室内に位置するモニタ上に表示された手術画像データに適用することができる。
【００２４】
さらに、宛先16は、複数のソースからの手術画像データを表示することが可能なものであってもよい。たとえば、宛先16は、ピクチャインピクチャ(PIP)機能を有するモニタとすることができる。この実施形態では、ユーザは、モニタ上に表示された手術画像データの全部またはいくつかの組にオーバーレイパターンを適用することを選ぶことができる(またはプリセットが設定することができる)。同様に、いくつかのソース12からの手術画像データ用のいくつかの宛先16がある場合には、ユーザは、宛先16に送られた手術画像データの全部またはいくつかの組にオーバーレイパターンを適用することを選ぶことができる(またはプリセットが設定することができる)。
【００２５】
図1に示されているように、システム10はまた、少なくとも1つのソース12および/または処理ユニット14と通信する少なくとも1つの入力18を含むことができる。この少なくとも1つの入力18は、ユーザがオーバーレイパターンの特性を使用可能/使用不能にする、かつ/または調整する任意のインターフェースを含むことができる。一実施形態では、入力18は、内視鏡カメラなど手術画像データのソース12それ自体に位置するボタンまたはメニューとすることができる。あるいは、入力18は、外科医が押す物理的なボタンを含むことができる、またはタッチスクリーンモニタをも含むことができるユーザインターフェースであってもよい。
【００２６】
図2に示されている他の実施形態では、入力18は、タッチスクリーン20上の1つまたは複数のアイコンを含むことができる。この実施形態では、システム10は、タッチスクリーン20にいくつかのアイコンを同時に表示させる、処理ユニット14上で実行されるソフトウェアを含むことができる。これらのアイコンは、ユーザが触れたことに敏感であり、コマンドが処理ユニット14に送られるようにする。いくつかのソースアイコン22または宛先アイコン24を押すことにより、ユーザは、アイコンの場所でタッチスクリーン20を押すことによって特定のソースおよび宛先を選択することができる。また、ユーザは、最終的に宛先に伝達される手術画像に変化をもたらすために、タッチスクリーン上のディスプレイウィンドウ26内に表示される手術画像を操作または変更することができる。たとえば、タッチスクリーン20はまた、ユーザがオーバーレイパターンを使用可能/使用不能にし、オーバーレイパターンの特性を調整し、オーバーレイパターンが適用される、またその宛先16に組合せ後の手術画像が送信される手術画像データを選択することを可能にする少なくとも1つのアイコン28を含むことができる。
【００２７】
いくつかの実施形態では、システム10はまた、音声コマンドを受け入れるように構成されてもよく、ユーザが、画像化デバイスまたはユーザインターフェースに触れる必要なしに、声でオーバーレイパターンを使用可能または使用不能にすること、またオーバーレイパターンそれ自体の特性を調整することを可能にする。この実施形態では、少なくとも1つの入力18は、音声コマンドを受け入れるための、前記処理ユニット14上で実行される音声認識ソフトウェアを含むことができ、外科医が、ソース12、処理ユニット14、または入力18それ自体に物理的に触れる必要なしに、声でオーバーレイを使用可能または使用不能にすること、またオーバーレイそれ自体の特性を調整することを可能にする。
【００２８】
いくつかの他の実施形態では、入力18は、カメラヘッドまたは画像動きベクトル検出からの加速度計データを含むことができる。このデータの入力に応答して、オーバーレイパターンを自動的に使用可能または使用不能にすることができ、あるいはオーバーレイパターンの特性を調整することができる。
【００２９】
また、入力18は、ユーザによって事前設定されたいくつかの時間にオーバーレイパターンを使用可能/使用不能にするように処理ユニット14に対して作用する、ユーザによって保存された事前設定のデータを含むことができる。この事前設定のデータは、ユーザが宛先16に送りたいと望む好ましいタイプのオーバーレイパターンおよび/またはオーバーレイパターンの特性をも含むことができる。
【００３０】
図3および図7〜図21に示されているように、オーバーレイパターン30は、任意の数の設計で提供することができ、設計は、ユーザが設定することができる。たとえば、図3〜図6に示されているように、オーバーレイパターン30は、格子とすることができる。さらに、図7に示されているように、オーバーレイパターン30は、表示された手術画像の中央に配置された単一の十字線を含むことができる。他の実施形態では、オーバーレイパターンは、手術画像の一部分、手術画像全体にわたって、または画像の縁部で重ね合わされた1つまたは複数のハッシュマークまたは十字線とすることができる。また、オーバーレイは、四分円に分割されてもよく、任意の数の円、卵形線、ハッシュマーク、またはそれらの任意の組合せが四分円内にある。また、オーバーレイは、1つまたは複数の円、卵形線、または他の形状とすることができる。
【００３１】
所望のオーバーレイパターン30をユーザが入力18を介して選ぶことができ、そのいくつかの例は上述されている。たとえば、内視鏡カメラなどソース12は、所望のオーバーレイパターン30を選択および設定するためのボタンを含むことができる。ユーザは、手術画像データ34のソース12の1つまたは全部にオーバーレイパターン30を適用することを選ぶことができる。オーバーレイパターン30が選択された後で、1つまたは複数の選択されたソース12からの手術画像データ34が処理ユニット14内でオーバーレイパターン30と組み合わされ、組み合わされた手術画像が1つまたは複数の選択された宛先18に送信される。
【００３２】
一実施形態では、オーバーレイパターンがリアルタイムで実況中継の手術画像に適用される。たとえば、図3に示されているように、組み合わされた手術画像データ34およびオーバーレイパターン30をディスプレイ32に送信することができる。ディスプレイは、手術室内に位置することができ、および/または手術を補助する他の外科医が、または教育目的で手術を観察する生徒が見るように手術室から離れたある場所に位置することができる。
【００３３】
さらに、オーバーレイパターン30は、記憶媒体上など画像アーカイブから再表示された手術画像データ34に適用することができる。適用されたオーバーレイパターン30もまた、取り込まれた手術画像データ34上で維持することができ、それを引き続きアーカイブに保存し、ディスプレイ上で見るために後で再表示することができる。
【００３４】
オーバーレイパターン30は、「固定された」位置で手術画像データに適用することができ、これは、オーバーレイパターン30が、表示画像に対して固定された位置、すなわち手術画像の中央に置いて適用されることになることを意味する。しかし、ユーザは、手術画像データ34を、オーバーレイパターン30に対して別々に調整することができる。動作時には、ユーザは、オーバーレイパターン30を有する手術画像データをディスプレイ32上で見て、特定の関心領域がオーバーレイパターン30の識別可能な領域に、またはその近傍に位置するまで、ソース12(すなわち、カメラ)によって取り込まれた画像を調整する。外科医は、図7に示されている実施形態を使用して、関心領域が十字線の中央に置かれるまでカメラの視野を調整することになる。これにより、外科医は、単にカメラを調整することによって、関心領域をはっきりと「指し示す」ことができる。
【００３５】
また、オーバーレイパターンは、ユーザが、オーバーレイパターン30の領域または一部分を識別および考察し、下にある手術画像データ34の関心領域を識別および考察するのを助けるためのキー36を含むことができる。一例では、キー36は、英数字ラベルまたは座標を含むことができる。たとえば、図3に示されているように、格子オーバーレイの行および列は、文字および番号で分類する-縦軸を文字で分類し、横軸を番号で分類し(または逆も同様である)、単純な文字-番号の組合せ(たとえば、「C3」または「D2」など)で手術画像のある領域を参照することを可能にすることができる。他の実施形態では、オーバーレイパターン30が、図11に示されているようにハッシュマークを含む場合、ハッシュマークを座標で分類することができる。図16および図18に示されているように、四分円または他の画定形状を、英数字キー36で個々に分類することができる。
【００３６】
それだけには限らないが、オーバーレイの解像度(すなわち、行数×列数、円の数など)、オーバーレイパターン30および/またはキー36の不透明度、オーバーレイパターン30および/またはキー36の不透明度の分布、オーバーレイ30および/またはキー36の色、オーバーレイ30および/またはキー36の明るさ、オーバーレイパターン30の線の太さ、キー36のフォントのサイズなどを含めて、オーバーレイ30およびキー36のいくつかの特性を調整可能とすることができる。ユーザは、外科的処置の開始前に、オーバーレイパターンを使用可能にし、その特性を設定することを選ぶことができ、または外科的処置中のいつでも、オーバーレイを使用可能/使用不能にすることができ、特性を調整することができる。
【００３７】
一例では、オーバーレイパターン30およびキー36は、様々なレベルの不透明度で手術画像に適用することができる。また、オーバーレイは、ユーザによって設定されたオーバーレイ30のいくつかの特性を表示することができるインジケータ38を含むことができる。たとえば、図3は、不透明度100%で適用された格子としてのオーバーレイ30およびキー36を示す。図4は、共に不透明度50%で適用されたオーバーレイ30およびキー36を示す。オーバーレイ30の特性は、一定とすることも、ディスプレイ32にわたって異なるものとすることもできる。たとえば、オーバーレイパターン30は、ディスプレイ32の縁部でより不透明であり、ディスプレイ32の中央に向かって徐々により透明になることができる。
【００３８】
他の実施形態では、オーバーレイパターンの調整可能な特性と座標を互いに独立して調整することができる。たとえば、図5に示されているように、オーバーレイは、不透明度50%に設定されてもよく、一方、キー36は、不透明度100%で維持されてもよい。
【００３９】
カメラ制御ユニット(CCU)の様々な特性もまた、いくつかの座標またはユーザによって識別されたオーバーレイ30の領域において、および/またはそれらの周りで手術画像データを変化させるように変更することができる。たとえば、手術画像データ34の明るさ、コントラスト、色、またはズームを、座標または識別された領域において、および/またはそれらの周りで調整することができる。オーバーレイ30の座標または領域は、入力18を介して、たとえばソース12上でのボタン押下によって、またはタッチスクリーン20のアイコンもしくはディスプレイウィンドウ26に触れることによって識別することができる。システム10はまた、CCUの特性を変更するためにオーバーレイパターン30のいくつかの領域または座標の音声認識を含むように構成されてもよい。
【００４０】
さらに、手術画像データ34それ自体のズームレベルをオーバーレイパターン30から独立して調整することができる。オーバーレイパターン30の解像度は同じままであり、一方、手術画像データ34が拡大または縮小される。たとえば、図6は、図3の手術画像データ34の拡大版を示し、格子オーバーレイパターンの解像度は依然として一定である(4行×6列)。
【００４１】
ユーザは、外科的処置の開始時、または外科的処置中に、オーバーレイパターン30および/またはキー36の特性を設定または調整することができる。たとえば、ユーザは、格子オーバーレイを選択し、列および行の数を選び、色を設定することを、すべて外科的処置の開始前に行うことができる。また、ユーザは、オーバーレイ30のデフォルトとなるプリセットを確立することができる。図1〜図7に示されている一実施形態では、格子オーバーレイの解像度は4行×6列である。しかし、4×4など、他の格子オーバーレイ解像度も企図されている。オーバーレイは、様々な数または固定された数の列、行、四分円などのものとすることができる。
【００４２】
さらに、オーバーレイパターンおよび/または解像度は、ディスプレイモニタのアスペクト比に従って事前設定されても、外科医が選んでもよい。たとえば、外科医は、アスペクト比4×3を有する標準画質(SD)ディスプレイを選ぶことができ、オーバーレイパターンは、それに応じて選ばれる、または調整されることになる。また、外科医は、アスペクト比16×9を有する高精細度(HD)ディスプレイを選ぶことができ、オーバーレイパターンは、それに応じて選ばれる、または調整されることになる。図15に示されているパターンなど卵形線を組み入れたオーバーレイパターンは、HDディスプレイによく適しており、一方、図14に示されているパターンなど円を組み入れたオーバーレイパターンは、SDディスプレイによく適している。
【００４３】
他の実施形態では、システム10は、(入力18としての)動きベクトル検出器が、ある期間の間、静止画像を検知した場合、オーバーレイを自動的に使用可能にすることができる。逆に、システム10は、動きベクトル検出器が、ある期間の間、動画像を検知した場合、オーバーレイを自動的に使用不能にすることができる。さらに、システム10は、オーバーレイが事前設定された期間の間使用可能であった後、自動的に「タイムアウト」することができ、手術画像がある期間の間静止していた場合、「タイムアウト」することができる。
【００４４】
オーバーレイが、自動検知、「タイムアウト」によって、またはユーザからの直接入力によって使用可能または使用不能にされたとき、不透明度100%で直ちに現れる、または直ちに消えるようにオーバーレイをプログラムすることができる。あるいは、不透明度を徐々に上げるか下げることによって徐々に現れる、または消えるようにオーバーレイをプログラムすることができる。これらの特性について、下記でさらに論じる、
【００４５】
前述は例示的なものであり、限定するものではないこと、また本発明の精神から逸脱することなしに自明の修正が当業者によって加えられ得ることを理解されたい。
【符号の説明】
【００４６】
10  システム
12  ソース
14  処理ユニット
16  宛先
18  入力
20  タッチスクリーン
22  ソースアイコン
24  宛先アイコン
26  ディスプレイウィンドウ
28  アイコン
30  オーバーレイパターン
32  ディスプレイ
34  手術画像データ
36  キー
38  インジケータ
【図１】
0005904812.tif 000002
【図８】
0005904812.tif 000003
【図９】
0005904812.tif 000004
【図１０】
0005904812.tif 000005
【図１１】
0005904812.tif 000006
【図１２】
0005904812.tif 000007
【図１３】
0005904812.tif 000008
【図１４】
0005904812.tif 000009
【図１５】
0005904812.tif 000010
【図１６】
0005904812.tif 000011
【図１７】
0005904812.tif 000012
【図１８】
0005904812.tif 000013
【図１９】
0005904812.tif 000014
【図２０】
0005904812.tif 000015
【図２１】
0005904812.tif 000016
【図２】
0005904812.tif 000017
【図３】
0005904812.tif 000018
【図４】
0005904812.tif 000019
【図５】
0005904812.tif 000020
【図６】
0005904812.tif 000021
【図７】
0005904812.tif 000022