(57)【要約】【課題】三次元立体画像を外科医に対して表示することに付随する問題を改善すること。【解決手段】外科用画像処理システムは、撮像対象の画像を撮像するように動作可能な画像撮像装置と、前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、前記撮像画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、前記生成画素を、当該生成画素が関係付けられている前記撮像画像の前記画素に置換することで前記生成画素と前記撮像画像とを合成することによって合成画像を生成するように動作可能な画像合成装置と、前記合成画像を表示するように動作可能な画像表示装置とを具備する。【選択図】図１
2015531271.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象の画像を撮像するように動作可能な画像撮像装置と、
前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、
前記撮像された画像における画素と関係付けられており、その値が前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、
前記生成された画素を、当該生成された画素が関係付けられている前記撮像画像の前記画素に置換することで、前記生成された画素と前記撮像された画像とを合成して合成画像を生成するように動作可能な画像合成装置と、
前記合成画像を表示するように動作可能な画像表示装置と
を具備する
外科用画像処理システム。
【請求項２】
請求項１に記載の外科用画像処理システムであって、
前記画像撮像装置は、前記撮像対象の一対の立体画像を撮像するように動作可能な三次元画像撮像装置である
外科用画像処理システム。
【請求項３】
請求項２に記載の外科用画像処理システムであって、
前記一対の撮像立体画像のうち、前記生成された画素と合成される前記撮像された画像を形成する１つの画像を選択するように動作可能な画像選択装置
をさらに具備する
外科用画像処理システム。
【請求項４】
請求項３に記載の外科用画像処理システムであって、
前記距離抽出装置は、少なくとも１つの画像撮像装置パラメータを把握することで、前記一対の立体画像から、前記画像撮像装置と、前記撮像対象内の前記点との前記距離を抽出するように動作可能である
外科用画像処理システム。
【請求項５】
請求項４に記載の外科用画像処理システムであって、
前記少なくとも１つの画像撮像装置パラメータは、デジタル画像処理装置の、焦点距離と、開口間隔と、水平視野と、開口収束点と、大きさとを含む群から選択される一つまたは複数のパラメータを含む
外科用画像処理システム。
【請求項６】
請求項１〜５のいずれか一項に記載の外科用画像処理システムであって、
前記画像生成装置は、前記撮像対象内の前記点と、参照点との距離の測定値である距離測定値を形成する複数の画素を生成するように動作可能である
外科用画像処理システム。
【請求項７】
請求項１〜５のいずれか一項に記載の外科用画像処理システムであって、
前記画像生成装置は、複数の画素を生成するように動作可能であり、
前記複数の画素のそれぞれの色は、前記距離情報から導出される
外科用画像処理システム。
【請求項８】
請求項１〜５のいずれか一項に記載の外科用画像処理システムであって、
前記画像生成装置は、複数の画素を生成するように動作可能であり、
前記複数の画素のそれぞれの彩度は、前記距離情報から導出される
外科用画像処理システム。
【請求項９】
請求項１に記載の外科用画像処理システムであって、
前記画像表示装置は、ヘッドマウントディスプレイである
外科用画像処理システム。
【請求項１０】
請求項１〜９に記載の外科用画像処理システムであって、
前記画像撮像装置、前記距離抽出装置、前記画像生成装置、前記画像合成装置、および前記画像表示装置は、前記表示された合成画像がリアルタイム映像の一部を成すように実質的にリアルタイムで動作する
外科用画像処理システム。
【請求項１１】
請求項１に記載の外科用画像処理システムであって、
前記距離抽出装置は、前記画像撮像装置と、前記撮像対象内の前記点との距離を直接測定するように動作可能である距離センサを有し、
前記測定距離は、前記距離情報を形成する
外科用画像処理システム。
【請求項１２】
請求項１〜１１のいずれかに記載の外科用画像処理システムであって、
前記距離情報を変換するように動作可能である距離算出装置をさらに具備し、
前記変換された距離情報は、前記距離情報を形成し、参照点と、前記撮像対象内の前記点との距離を示す
外科用画像処理システム。
【請求項１３】
請求項１２に記載の外科用画像処理システムであって、
前記参照点は、当該外科用画像処理システムのユーザによって決定される
外科用画像処理システム。
【請求項１４】
請求項１〜１３のいずれかに記載の外科用画像処理システムであって、
前記生成された画素と、前記撮像された画像において当該生成された画素と関係付けられている画素とは、前記撮像対象内の前記点に対応する
外科用画像処理システム。
【請求項１５】
画像撮像装置によって撮像対象の画像を撮像し、
前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との前記距離を示す距離情報を抽出し、
前記撮像された画像における画素と関係付けられており、その値が前記距離情報から導出される画素を生成し、
前記生成された画素を、当該生成された画素が関係付けられている前記撮像された画像の前記画素に置換することで前記生成された画素と前記撮像された画像とを合成して合成画像を生成し、
前記合成画像を表示する
外科用画像処理方法。
【請求項１６】
請求項１５に記載の外科用画像処理方法であって、さらに、
前記撮像対象の一対の立体画像を撮像する
外科用画像処理方法。
【請求項１７】
請求項１６に記載の外科用画像処理方法であって、さらに、
前記生成された画素に合成される前記撮像された画像を形成する、前記一対の撮像立体画像の一方を選択する
外科用画像処理方法。
【請求項１８】
請求項１７に記載の外科用画像処理方法であって、さらに、
少なくとも１つの画像撮像装置パラメータを把握することで、前記一対の立体画像から、前記画像撮像装置と、前記撮像対象内の前記点との前記距離を抽出する
外科用画像処理方法。
【請求項１９】
請求項１８に記載の外科用画像処理方法であって、さらに、
前記少なくとも１つの画像撮像装置パラメータは、デジタル画像処理装置の、焦点距離と、開口間隔と、水平視野と、開口収束点と、大きさとを含む群から選択される１つまたは複数のパラメータを含む
外科用画像処理方法。
【請求項２０】
請求項１５〜１９のいずれか一項に記載の外科用画像処理方法であって、さらに、
前記撮像対象内の前記点と、参照点との距離の測定値である距離測定値を形成する複数の画素を生成する
外科用画像処理方法。
【請求項２１】
請求項１５〜１９のいずれか一項に記載の外科用画像処理方法であって、さらに、
色が前記距離情報からそれぞれ導出される複数の画素を生成する
外科用画像処理方法。
【請求項２２】
請求項１５〜１９のいずれか一項に外科用画像処理方法であって、さらに、
彩度が前記距離情報からそれぞれ導出される複数の画素を生成する
外科用画像処理方法。
【請求項２３】
請求項１５〜２２のいずれか一項に記載の外科用画像処理方法であって、さらに、
ヘッドマウントディスプレイに前記合成画像を表示する
外科用画像処理方法。
【請求項２４】
請求項１５〜２３のいずれか一項に記載の外科用画像処理方法であって、さらに、
前記撮像対象の前記画像を撮像し、
距離情報を抽出し、
画素を生成し、
前記生成された画素と撮像された画像とを合成し、
前記表示された合成画像を、リアルタイム映像の一部を成すように実質的にリアルタイムで表示する
外科用画像処理方法。
【請求項２５】
請求項１５に記載の外科用画像処理方法であって、さらに、
前記距離情報を形成する、前記画像撮像装置と、前記撮像対象内の前記点との距離を距離センサを用いて測定する
外科用画像処理方法。
【請求項２６】
請求項１５〜２５に記載の外科用画像処理方法であって、さらに、
前記距離情報を形成し、参照点と、前記撮像対象内の前記点との距離を示すように、前記距離情報を変換する
外科用画像処理方法。
【請求項２７】
請求項２６に記載の外科用画像処理方法であって、さらに、
ユーザが、前記参照点を決定する
外科用画像処理方法。
【請求項２８】
請求項１５〜２７のいずれか一項に記載の外科用画像処理方法であって、さらに、
前記生成された画素と、前記撮像された画像において当該生成された画素と関係付けられている画素とを、前記撮像対象内の前記点に対応させる
外科用画像処理方法。
【請求項２９】
コンピュータに、請求項１５〜２８のいずれか一項に記載の外科用画像処理方法の各ステップを実行させるプログラム。
【請求項３０】
請求項２９に記載のプログラムが記録されたコンピュータ可読記録媒体。
【請求項３１】
撮像対象の画像を撮像するように動作可能な画像撮像装置と、
前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、
前記撮像された画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、
前記生成された画素を、当該生成された画素が関係付けられている前記撮像された画像の前記画素に置換することで、前記生成された画素と前記撮像された画像とを合成して合成画像を生成するように動作可能な画像合成装置と、
前記合成画像を画像表示装置に提供するように動作可能な出力部と
を具備する
医用画像処理装置。
【請求項３２】
撮像対象の画像を撮像するように動作可能な画像撮像装置と、
前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、
前記撮像された画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、
前記生成された画素を、当該生成された画素が関係付けられている前記撮像された画像の前記画素に置換することで、前記生成された画素と前記撮像された画像とを合成して合成画像を生成するように動作可能な画像合成装置と、
前記合成画像を画像表示装置に提供するように動作可能な出力部と
を具備する
画像処理検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置に関する。
【背景技術】
【０００２】
本明細書の「背景技術」の目的は、本開示の背景を概説することにある。背景技術に記載する現時点での発明者らの研究と、出願時に従来技術ではなかった本明細書の態様とは、明示的にも黙示的にも本発明を排して従来技術として認められるものではない。
【０００３】
人体の内部に対して外科手術を施す場合、当該人体に対する切開等の回数を減らしたり、当該切開等の大きさを縮小したりするのが好ましい。このため、多くの場合、内視鏡検査法を含む外科的手法が利用される。内視鏡検査法は、医用画像処理法の一種であり、内視鏡を直接体内に挿入し、体内画像を撮影してテレビモニタ等の表示機器に表示させるものである。内視鏡を用いて外科手術を施す外科医（術者）らは、内視鏡によって撮影される画像を表示機器で確認することで自らの施術の助けとする。内視鏡検査法を含む外科手術は、鍵穴手術または低侵襲手術とも呼ばれている。このような手術では、施術を行っている部分を直視する必要がないため、通常、切開手術等の従来の手法よりも切開の大きさを縮小することが求められる。
【０００４】
外科手術という、その繊細で正確さが求められる性質上、外科医に施術を行っている部分の正確な画像を提示することが望ましい。しかし、内視鏡によって表示機器で再生される画像は通常二次元であるため、外科医に適切な奥行き感覚を与えていなかった。そのため、近年では、外科医に三次元立体画像を提示することが可能な三次元立体内視鏡が製造されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００６／２６８２５７号明細書
【特許文献２】国際公開第２０１２／１００００２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
それにもかかわらず、この三次元立体内視鏡を使用する際には多数の問題が起こり得る。例えば、通常、内視鏡は囲まれた狭小空間で動作するため、三次元立体内視鏡の開口部間の距離に比して、内視鏡と、当該内視鏡が撮影する部分との距離は短くなることが多い。このため、得られる三次元立体画像は見難いことがあり、これによって、外科医の手技の精度が低下したり、疲労が増したりするおそれがある。また、三次元立体内視鏡によって生成された三次元立体画像を適切に視認する能力は外科医間でばらつきがあることが考えられる。結果として、外科手術を行う際に三次元立体画像を視認することによって得られる恩恵は、執刀医によって異なる。本発明は三次元立体画像を外科医に対して表示することに付随するこれらの問題を改善することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、撮像対象の画像を撮像するように動作可能な画像撮像装置と、前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、前記撮像画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、前記生成画素を、当該生成画素が関係付けられている前記撮像画像の前記画素に置換することで前記生成画素と前記撮像画像とを合成することによって合成画像を生成するように動作可能な画像合成装置と、前記合成画像を表示するように動作可能な画像表示装置とを具備する外科用画像処理システムが提供される。当該外科用画像処理システムは、外科医に、三次元立体画像を見ずに施術を行っている撮像対象の深度情報を視認するための代替的な手段を提供する。当該深度情報は、当該撮像対象から抽出された距離に基づく値を有する複数の画素を生成および表示することによって、合成画像内に表示されて提示される。このように距離および深度情報を表示することで、三次元立体画像を外科医に対して表示することに付随する問題が回避される。具体的に、これらの問題としては、例えば、画像の深度が過度に大きくなること、撮像対象の全ての特徴点が表示装置の前方に見えること、三次元立体画像を快適に見るのに外科医の能力に個人差があることが挙げられる。
【０００８】
本発明の別の実施形態によれば、外科用画像処理システムは、撮像対象の一対の立体画像を撮像するように動作可能である三次元立体画像撮像装置を有する。三次元立体画像撮像装置を用いることによって、撮像対象内の複数の点に関する深度情報を、撮像画像から抽出し、画素の生成に利用することができるようになる。このように三次元立体内視鏡（三次元立体画像撮像装置）を設けることによっても、既存の内視鏡を用いることが可能になり、外科医が、撮像対象のどの画像を見るか選択することができるように合成画像を三次元立体画像に並べて表示することが可能になる。
【０００９】
本発明の別の実施形態によれば、外科用画像処理装置は、前記生成画素に合成される前記撮像画像を形成する、前記一対の撮像三次元立体画像の一方を選択するように動作可能である画像選択装置を有する。画像選択装置を設けることによって、複数の画像が画像撮像装置によって撮像された場合に１つの画像を撮像画像として用いることが可能になる。
【００１０】
本発明の別の実施形態によれば、画像撮像装置が三次元立体画像撮像装置である場合、外科用画像処理システムの距離抽出装置は、一対の撮像三次元立体画像から、画像撮像装置と、撮像対象内の点との距離を抽出するように動作可能である。一対の三次元立体画像から距離を抽出することによって、外科用画像処理システムは、専用の距離算出装置を必要とせずに距離情報を取得することが可能になる。そのため、既存の三次元立体画像撮像装置を外科用画像処理システムと共に用いることができる。
【００１１】
本発明の別の実施形態によれば、外科用画像処理システムの画像生成装置は、複数の画素を生成するように動作可能であり、前記複数の画素は、距離測定値を形成し、前記距離測定値は、前記撮像対象内の前記点と、参照点との距離測定値である。距離測定値を形成する複数の画素を生成することによって、外科医が、合成画像における撮像対象内の２つの点間の距離測定値を容易に理解することができるようになる。これは、外科医が、なんらかの物体を患者の体内に配置しようとする際、または撮像対象の２つの特徴点同士を近接させないようにする際に有益となり得る。
【００１２】
本発明の別の実施形態によれば、外科用画像処理システムの画像生成装置は、複数の画素を生成するように動作可能であり、前記複数の画素のそれぞれの色は、前記距離情報から導出される。撮像対象内の複数の点との距離に関する合成画像における色に基づく視覚化画像によって、外科医が、三次元立体画像を見ずに、または、合成画像ににおいて距離の数値を測定することなく、距離情報を直感的かつ容易に理解することができるようになる。
【００１３】
本発明の別の実施形態によれば、外科用画像処理システムの画像生成装置は、複数の画素を生成するように動作可能であり、前記複数の画素のそれぞれの彩度は、前記距離情報から導出される。撮像対象内の複数の点との距離に関する合成画像における彩度に基づく視覚化画像によって、外科医が、三次元立体画像を見ずに、または、合成画像において距離の数値を測定することなく、距離情報を直感的かつ容易に理解することができるようになる。これに加えて、距離に応じて画像の彩度を異ならせることで、合成画像における撮像対象の色を維持する。これによって、外科医が、特有の色を有する撮像対象の特徴点を容易に識別することができる。
【００１４】
本発明の別の実施形態によれば、外科用画像処理システムの距離抽出装置は、前記画像撮像装置と、前記撮像対象内の前記点との距離を直接測定するように動作可能である距離センサを有し、前記測定距離は、前記距離情報を形成する。このように専用の距離算出装置を設けることで、三次元立体画像を用いたり、関連の距離抽出技法を用いたりせずに撮像対象内の特徴点までの距離を測定することができる。よって、開口が１つしか必要とされないため、三次元立体画像撮像装置よりも画像撮像装置の大きさを縮小することができる。
【００１５】
本発明の別の実施形態によれば、外科用画像処理システムは、前記距離情報を変換するように動作可能である距離算出装置をさらに具備する。前記変換距離情報は、前記距離情報を形成し、画像撮像装置と、撮像対象内の点との距離ではなく、参照点と、前記撮像対象内の前記点との距離を示す。距離算出装置は、画像撮像装置以外の複数の点間の距離が、測定されて外科医に対して表示されることが可能になる。これによって、外科医に、以前は利用可能でなかったようなさらなる情報が提供される。このようにさらなる情報が提供されることによって、外科医によって行われる手術の精度および質を改善することができる。
【００１６】
本発明の別の実施形態によれば、距離を測定するための参照点は、外科医が外科用画像処理システムを用いて決定してもよい。このように参照点を手動で決定することによって、外科医は、自身が選択した点と、撮像対象内の複数の点との距離を測定することが可能になる。例えば、この参照点は、撮像対象内の切開部位とすることができる。したがって、本実施形態によって、外科医は、合成画像を自身のニーズに合わせることができ、外科医によって行われる手術の質および精度が改善されることが期待できる。
【００１７】
本発明の別の態様によれば、撮像対象の画像を撮像するように動作可能な画像撮像装置と、前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、前記撮像画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、前記生成画素を、当該生成画素が関係付けられている前記撮像画像の前記画素に置換することで、前記生成画素と前記撮像画像とを合成して合成画像を生成するように動作可能な画像合成装置と、前記合成画像を画像表示装置に提供するように動作可能な出力部とを具備する医用画像処理装置が提供される。
【００１８】
本発明の別の態様によれば、撮像対象の画像を撮像するように動作可能な画像撮像装置と、前記撮像対象内の点から、前記画像撮像装置と、前記撮像対象内の前記点との距離を示す距離情報を抽出するように動作可能な距離抽出装置と、前記撮像画像における画素と関係付けられており、値を前記距離情報から導出される画素を生成するように動作可能な画像生成装置と、前記生成画素を、当該生成画素が関係付けられている前記撮像画像の前記画素に置換することで、前記生成画素と前記撮像画像とを合成して合成画像を生成するように動作可能な画像合成装置と、前記合成画像を画像表示装置に提供するように動作可能な出力部とを具備する画像処理検査装置が提供される。
【００１９】
上述の特徴は、場合に応じて装置、システム、または機器の特徴に関するが、他の実施形態では、方法の特徴も想定される。また、適したソフトウェアコードおよび記憶媒体の特徴も想定される。
【００２０】
上述の記載は、概略的な導入部であり、添付の特許請求の範囲を限定する意図はない。記載した実施形態およびさらなる利点が、添付の図面と合わせて以下の詳細な説明を読むことによって最も深く理解されるであろう。
【００２１】
以下の詳細な説明を添付の図面と合わせて参照および検討することで、本開示に対する理解が深まり、本開示およびこれに付随する数々の利点のうちの大半に対するより完全な理解が容易に得られるであろう。
【図面の簡単な説明】
【００２２】
【図１】外科用画像処理システムの一例を概略的に示す図である。
【図２】二次元画像撮像装置の例を概略的に示す図である。
【図３】三次元立体画像撮像装置の例を概略的に示す図である。
【図４】本発明の一実施形態による外科用画像処理システムを概略的に示す図である。
【図５】本発明の一実施形態による処理部の構造を概略的に示す図である。
【図６】本発明の一実施形態による外科用画像処理システムの動作を説明するフローチャートである。
【図７】図３（ａ）および図３（ｂ）の画像撮像装置によって撮像される内視鏡画像の例を概略的に示す図である。
【図８】本発明の一実施形態に係る画像撮像装置の一例を概略的に示す図である。
【図９】本発明の一実施形態に係る合成画像を概略的に示す図である。
【図１０】本発明の一実施形態に係る合成画像を概略的に示す図である。
【図１１】本発明の一実施形態に係る合成画像を概略的に示す図である。
【発明を実施するための形態】
【００２３】
これにより図面を参照するが、同様の参照符号は、複数の図面にわたって同一または対応の部分を示す。
【００２４】
外科手術を施す際、外科医に、施術を行っている部分の正確で詳細な画像を提示するのが望ましい。そのため、外科用画像処理が、外科医が正確かつ成功性の高い外科的処置を行うための要素となっている。本明細書中において「外科手術」とは、非侵襲性（観察を含む）、低侵襲性、および無侵襲性外科手術を含む様々な外科的処置を指す。したがって、外科用画像処理とは、これらの外科的技法に関係して用いられる画像処理を指す。
【００２５】
外科用画像処理技法の一例として、内視鏡検査法がある。内視鏡自体は、画像を視認および撮像する装置であるが、低侵襲手術と呼ばれる外科的処置に用いられることが多い。内視鏡を使用した外科手術では、施術を行っている部分を直視する必要がなくなる。そのため、切開部分をより小さくすることができ、これによって、回復時間を短縮したり、感染率を低下させたりすることができる。このような利点のため、内視鏡（鍵穴）手術または低侵襲手術が外科的技法として普及している。
【００２６】
以下、内視鏡に関する外科用画像処理装置および画像撮像装置を説明するが、本発明はこれに限定されない。例えば、以下の記載は、腹腔鏡、他の形態の外科用画像処理、および外科用顕微鏡等の機器にも同様に適用可能である。
【００２７】
図１は、外科用画像処理システムの一例を概略的に示す図である。図１では、画像撮像装置が切開部１１または開口部から患者の体内に挿入されている。これによって、外科医は、患者の体内の撮像対象を、直接目視することなく確認可能となっている。画像撮像装置は、患者の体内の撮像対象のデジタル画像を撮像し、この撮像画像を通信線１２を介して処理部１３に伝送する。１本の通信線１２に代えて、多数の通信線１２を、図１に示す外科用画像処理システムに用いてもよい。例えば、通信線１２は、撮像画像を示す情報を処理部１３に伝送するのに適していればいかなる材料も用いることができる。通信線１２は、Bluetooth（登録商標）またはＷＩＦＩ等の任意の適した無線アクセスプロトコルを用いて無線形式で実施することもできる。処理部１３は、撮像画像を処理し、この処理済み画像１５を画像表示装置１４に出力し、外科医に見えるように表示させる。このような画像撮像および表示処理はリアルタイムで行われる。したがって、一連の撮像画像から成る当該撮像対象のリアルタイム映像が画像表示装置１４によって表示される。例えば、画像表示機器１４を、外科医が装着したヘッドマウントディスプレイ（ＨＭＤ）の一部としてもよい。ＨＭＤを介して撮像画像を提示することには、多くの利点がある。例えば、施術中に外科医が周囲に気を取られることが少なくなり、より撮像画像の視認に没頭することができる。また、インターネット等の広域ネットワークを介して撮像画像をストリーミングし、施術が行われている現場の外科医と、他の場所にいる外科医とが遠距離で話し合うことを可能にしてもよい。例えば、特殊な処置に対する専門医の数が少ない場合、このように撮像画像をストリーミングすることで、わざわざ別の専門医が施術現場に赴いて手助けしたり、相談に乗ったりする必要がなくなる。
【００２８】
図１に示す外科用画像処理システムにおける画像撮像装置として様々な装置を用いることができる。図２（ａ）および図２（ｂ）は、代替的な２つの二次元画像撮像装置を示す。図２（ａ）では、画像撮像装置は、デジタル画像処理装置２０と、１つの開口２１とを有する。デジタル画像処理装置２０は、或る特定の撮像対象からの光によってもたらされる情報をデジタル化し、一連の撮像画像を生成し、これらが通信線１２を介して処理部１３に伝送される。画像撮像装置は、直線状の本体２２に収容されているものとして示しているが、当該本体２２は、患者の体内での画像撮像装置の動きを容易にするように可撓性としてもよい。デジタル画像処理装置２０は、撮像対象からの光から一連のデジタル撮像画像を生成するのに適していればいかなる装置を用いてもよく、例えば、ＣＣＤ（Charged Coupled Device）またはＡＰＳ（Active-Pixel Sensor）とされる。
【００２９】
一方、図２（ｂ）では、画像撮像装置は、１つの開口２４を形成する１つまたは複数の光ファイバ２３と、デジタル画像処理装置２５とを有する。デジタル画像処理装置２５は、図２（ａ）のデジタル画像処理装置２０と比較して、外科用画像処理システムの患者側の端部から離れた位置に配置される。１つまたは複数の光ファイバ２３は、当該撮像対象からの光をデジタル画像処理装置２５へ伝達する。当該デジタル画像処理装置２５において、この光によってもたらされる情報がデジタル化されて一連の撮像画像が形成される。そして、当該画像は、通信線１２に介して処理部１３に伝送される。図２（ａ）では、画像撮像装置を、直線状の本体２２に収容されるものとして示しているが、本体２２は、患者の体内で容易に動かせるように可撓性としてもよい。また、図２（ａ）と同様に、デジタル画像処理装置２５は、当該撮像対象からの光から一連のデジタル撮像画像を生成するのに適していればいかなる装置であってもよい。
【００３０】
図１、図２（ａ）および図２（ｂ）に示すシステムおよび装置の使用によって切開部の大きさが縮小されるため、また、人体組織がそもそも実質的に不透明であるため、患者の外部の環境から光が患者の体内の撮像対象に照射されることはほとんどまたは全くない。したがって、画像撮像装置によって有用な撮像画像を提供するには、内部の光源が必要である。そのため、図２（ａ）および図２（ｂ）には示していないが、当該撮像対象を照明するように動作可能な光源を、画像撮像装置の患者側の端部に配置してもよい。この光源は、例えば、外部の光源から供給される光を当該撮像対象に伝達するように動作可能な光ファイバとすることができる。これも図２（ａ）および図２（ｂ）に示していないが、画像撮像装置は、当該撮像対象からの光の焦点を合わせるように動作可能な１つまたは複数のレンズ等の光学調節手段をさらに有してもよい。当該光学調節手段によって、デジタル画像処理装置２５が撮像対象の鮮明かつ正確な画像を撮像することができる。
【００３１】
上述したように、近年、三次元立体画像外科用画像処理システムが製造されている。三次元立体画像外科用画像処理システムは、図１に示す外科用画像処理システムと実質的に同様のものである。しかし、処理部１３および表示装置１４がそれぞれ、一連の三次元立体画像を処理および表示するように動作可能である点が異なる。三次元立体画像外科用画像処理システムにおいて、一連の対の立体画像が、画像撮像装置によって撮像され、処理部１３に送信される。この対の画像は、右目画像および左目画像に対応している。処理部１３は、当該技術分野で既知の方法を利用してこれらの撮像画像を処理して表示装置１４での表示に適した状態にする。当該一連の対の立体画像を外科医に対して表示するには、当該技術分野で既知である、アナグリフ方式、偏光方式、アクティブシャッター方式または裸眼方式等の、三次元立体映像を表示するための任意の技法を用いることができる。
【００３２】
図３（ａ）および図３（ｂ）は、三次元立体画像撮像装置を概略的に示す図である。図３（ａ）および図３（ｂ）に示す三次元立体画像撮像装置の構成要素は、図２（ａ）および図２（ｂ）に示す構成要素と実質的に同様である。しかし、異なる点として、図３（ａ）および図３（ｂ）の三次元立体画像撮像装置には開口およびデジタル画像処理装置が２つずつあり、さらに図３（ｂ）の場合、光ファイバが二組設けられている。当該三次元立体画像撮像装置は、図２（ａ）および図２（ｂ）の画像撮像装置と実質的に同様に動作するが、患者体内の撮像対象の対の立体画像が撮像されて処理部に送信される点は異なる。図３（ａ）および図３（ｂ）に示すそれぞれ２つの開口３２および３３ならびに３６および３７は、三次元立体テレビカメラと同様に平行方向に離間しており、当該開口３２および３３または３６および３７が異なる位置にあることで、三次元立体画像撮像装置によって撮像された或る特定の撮像対象の対の立体画像同士が互いに対してずれているように見える。
【００３３】
図２（ａ）および図２（ｂ）を参照して説明したように、図３（ａ）および図３（ｂ）の三次元立体画像撮像装置にもレンズ等の光学調節手段が設けられてもよいし、デジタル画像処理装置に代えて適した代替物が用いられてもよい。図３（ａ）および図３（ｂ）の例では、開口が２つあるため、焦点の合った鮮明かつ正確な対の立体画像がデジタル画像処理装置によって撮像されて処理部に送信されるように、二組の光学調節手段が必要となる。図３（ａ）および図３（ｂ）の画像撮像装置は、図２（ａ）および図２（ｂ）の画像撮像装置を参照して説明したのと同様の光源をさらに有してもよい。
【００３４】
図２（ａ）、図２（ｂ）、図３（ａ）および図３（ｂ）に示す画像撮像装置等の画像撮像装置の断面積を最小化することで、画像撮像装置を患者の体内に導入するために必要な切開部の大きさを縮小することができる。開口とデジタル画像処理装置とを１つずつ有する二次元画像撮像装置の断面積は、主に、開口とデジタル画像処理装置とを合わせた大きさによって決まる。一方、画像撮像装置が開口とデジタル画像処理装置とを２つずつ有する場合、その断面積は、開口間距離及びこれらの開口の相対的な位置を制御するために必要な機構の影響も受ける。したがって、外科用画像処理システムの三次元立体画像撮像装置の動作原理は三次元立体テレビカメラの動作原理と同様であるが、三次元立体テレビカメラで通常設けられる多数の特徴が、小型化のために外科的三次元立体画像撮像装置には設けられないことがある。例えば、開口３２、３３、３６および３７の位置は、それらの間隔、ピッチ、ロールおよびヨーが一定に保たれるようにそれぞれ固定され、対応の開口同士が、それらの輻輳点が無限遠となるように平行方向において固定される。従来の三次元立体テレビカメラでは、上記属性は、撮像する三次元立体画像を視聴者に快適に視聴させるように多数の要素に応じて制御される。例えば、これらの属性は、撮影中の撮像対象までの距離および或る特定の撮像対象の複数の特徴点の望ましい相対深度に応じて制御されてもよい。
【００３５】
外科的三次元立体画像撮像装置における開口およびデジタル画像処理装置の相対的位置に対する制御水準を下げると、数々の問題が起こり得る。例えば、三次元立体画像撮像装置は、或る特定の撮像対象を撮像する場合、人体の内部の狭小空間内で動作することが多い。そのため、２つの開口から当該撮像対象までの距離に対する、開口間の間隔の比率が、標準的な三次元立体カメラと比較して大きくなる傾向にある。したがって、当該撮像対象の三次元立体撮像画像の深度の範囲は拡大し、人間の目には立体画像を快適に視認することができる輻輳および発散の範囲に限度があるため、画像を視認する際に外科医に不快感を与える可能性がある。これに加えて、開口の平行方向の整列およびデジタル画像処理装置に起因する問題が起こり得る。上述したように、開口が平行方向に整列することによって、画像撮像装置の輻輳点が無限遠になる。したがって、撮像画像が視聴者に提示されると、或る特定の撮像対象内の全ての特徴点が、当該三次元立体画像を表示する表示装置の前方に見える。これもまた、視認の際に外科医に不快感を与える場合がある。
【００３６】
図１に示した処理部１３等の処理部が、当該技術分野で既知の後処理方法を用いて撮像画像の見かけの深度を調節してもよいが、その程度は、人間が快適に視認することができる最大の深度範囲に限定される。そのため、上述のさまざまな要因によって、外科医に対して表示される三次元立体画像の精度が低下する場合があり、これによって、外科手術の精度が低下する可能性がある。また、三次元立体撮像画像のパラメータが正確に調節されていない場合、画像の視認による外科医の疲労が増し、これによっても、外科手術の質が低下する可能性がある。したがって、上記に詳述した問題を緩和する深度情報を提示する外科用画像処理システム用の手段が必要になる。
【００３７】
本発明の第１の実施形態によれば、代替的な方法で或る特定の撮像対象の各点の深度および距離情報を三次元立体画像に付加する距離視覚化画像（distance visualization）が、当該撮像対象の撮像画像から形成された二次元合成画像を介して外科用画像処理システムのユーザに提示される。
【００３８】
図４は、本発明の第１の実施形態に係る外科用画像処理システムを概略的に示す図である。本外科用画像処理システムは、図１に示した外科用画像処理システムと共通の特徴を多く有するため、以下では、図１と異なる特徴のみを説明する。
【００３９】
限定はしないが、本外科用画像処理システムは、第２の表示装置４０も有する。当該第２の表示装置４０は、画像撮像装置から直接二次元または三次元立体画像を表示する表示装置１４と並んで二次元合成画像を表示するように動作可能である。画像撮像装置から直接送られてくる画像は、図２（ａ）および図２（ｂ）の画像撮像装置によって撮像される二次元画像であってもよいし、図３（ａ）および図３（ｂ）の画像撮像装置によって撮像される一対の立体画像のうちの一方であってもよいし、図３（ａ）および図３（ｂ）の画像撮像装置によって撮像される三次元立体画像であってもよい。実施形態によっては、外科用画像処理システムは、二次元画像、二次元合成画像、および三次元立体画像を同時に表示することができるように第３の表示装置をさらに有してもよい。外科用画像処理システムは、図１の処理部１３に対応するとともに以下で説明する付加的な処理能力を有する処理部４１をさらに有する。この処理部４１は、図１に示されるような汎用ＰＣであってもよく、この場合、当該ＰＣは少なくとも、ＣＰＵ、グラフィック処理部、およびメモリを有する。代替的に、処理部４１は、三次元処理装置等の専用のアプリケーションに特化した画像処理装置として実現されてもよい。
【００４０】
図５は、本発明の第１の実施形態に係る処理部４１による撮像画像の処理を概略的に示す図である。処理部４１は、距離抽出装置５０、距離算出装置５１、画像選択装置５２、画像生成装置５３、および画像合成装置５４のうちの少なくとも１つを有する。これらの装置はそれぞれ、以下で詳細に説明する。処理部４１の特徴は、画像撮像装置のタイプ、つまり、二次元画像用か三次元立体画像用か、および外科用画像処理システムの実施態様によって決まるため、本発明の実施形態によっては、図５に示す処理装置のうちの一組しか必要がない場合がある。
【００４１】
図６は、三次元立体画像撮像装置を有する本発明の一実施形態に係る外科用画像処理システムの動作方法を示す。これらの処理ステップは、画像撮像装置、図５の処理部４１ならびに表示装置１４および４０の動作に対応する。以下、図６の処理ステップを、図５および図６を参照して説明する。
【００４２】
ステップＳ１において、画像撮像装置は、図３（ａ）および図３（ｂ）の画像撮像装置を参照して説明したように或る特定の撮像対象の対の立体画像を撮像する。これらの撮像画像は、映像を形成する一連の対のうちの一対であってもよく、当該撮像画像は通信線１２を介して処理部４１に伝送される。撮像画像が処理部４１に伝送されると、これらの撮像画像は距離抽出装置５０に送信される。
【００４３】
ステップＳ２において、距離抽出装置５０は、撮像画像から距離情報を抽出する。距離情報は、画像撮像装置から当該撮像対象内の各点までの距離測定値と、画像撮像装置と当該撮像対象内の各点との間の仰角および回転角度とを含む。抽出された距離情報は、距離算出装置５１に渡される。
【００４４】
距離抽出装置５０は、当該撮像対象内の各点に対応する、対の撮像立体画像における対応の画素間の視差を用いて、画像撮像装置から当該撮像対象内の各点までの距離測定値を抽出する。
【００４５】
立体画像は、互いにずれたものであり、これらの立体画像間のずれを視差と称する。図７（ａ）および図７（ｂ）は、或る特定の撮像対象の対の撮像立体画像における画素間の視差を示す。図７（ａ）は右側撮像画像を示し、図７（ｂ）は左側撮像画像を示す。図７（ａ）および図７（ｂ）間の破線は、右側撮像画像および左側撮像画像における対応の画素７０および７２間の視差ならびに画素７１および７３間の視差を表している。右側撮像画像および左側撮像画像は、人間の左右の目によって人間の脳に提示される画像にそれぞれ相似している。人間の脳は、他の情報と共に視差を利用することで当該撮像対象に対して深度を知覚する。
【００４６】
距離抽出装置５０は、画像撮像装置から当該撮像対象内の或る点までの距離測定値を、当該点に対応する画素間の視差を用いて対の立体画像から抽出する。しかし、或る特定の撮像対象内の或る点の深度または距離情報を抽出するためには、対応の画素間の視差に加え、さまざまな測定値および画像撮像装置パラメータも必要となる。画像撮像装置から或る特定の撮像対象内の或る点までの距離は、画像撮像装置のパラメータの関数である。当該パラメータは、開口の軸間間隔と、焦点距離およびデジタル画像処理装置のセンサの大きさから導出することができる水平視野と、開口の輻輳点とを含む。そのため、距離抽出装置５０が画像撮像装置から当該撮像対象内の或る点までの距離測定値を算出するためには、視差の他、上述のパラメータが全て必要となる。
【００４７】
例えば、画面幅（ｄｘ）の分数に関する、開口の軸方向間隔（ｉ）、画像撮像装置の水平視野（ＦＯＶ）、開口の輻輳点、および対応の画素間の水平方向視差が既知である場合、画像撮像装置からＺ次元の画像平面までの距離（ｄ）は次の式によって算出される。
【００４８】
【数１】
2015531271.tif 000003
【００４９】
画像撮像装置のパラメータは、予め知らされていてもよく、画像撮像装置によって伝送されるメタデータから利用可能であってもよい。例えば、開口間の間隔および輻輳点は、一定であり既知である傾向があるが、焦点距離は、一定でない場合は、装置に関するメタデータから焦点距離を取得することができる。例えば内視鏡等の医用画像処理装置の大きさには制約があるため、焦点距離は一定であることが多く、メタデータが必要でない。例えば外科用顕微鏡等の他の装置では、予め設定された焦点距離および倍率に幅があるため、メタデータが必要である。
【００５０】
一対の立体画像における対応の画素間の視差を取得するために、当該撮像対象内の同一の点に対応する、当該一対の立体画像における対応の画素を特定し、これらの位置間の差を算出する必要がある。複数の画像における対応の画素または特徴点を特定するためにさまざまな方法および製品が存在する。例えば、ブロックマッチングは、適した手法と言える。別の例として、特徴点マッチングがある。当該特徴点マッチングは、個々の画素値または画素値の組を比較することで一つまたは複数の画像における同様の特徴点を特定するように行われる。対応の画素が取得されると、これらの画素間の視差を算出し、画像撮像装置から当該撮像対象の対応の点までの距離を抽出することができる。本発明の実施形態によっては、特徴点マッチングは、距離測定値が当該撮像対象内の全ての点について抽出されるように、撮像画像における全ての画素に対して個別に行われる。しかし、このような作業には膨大な演算量が必要になりがちである。そのため、より粗い（extensive）特徴点マッチングによって、分解能の高い距離情報と演算量との折り合いをつける。また、複数の画像における全ての画素をマッチングする、つまり、或る特定の撮像対象内の全ての点に関する距離情報を抽出するのは困難である。この観点から、或る特定の撮像対象において全ての点に関する距離情報を抽出するために、既知の対応の画素間を補間し、これらの中間の画素と、これらが対応する点との距離情報を取得する必要がある。補間処理は通常、特徴点マッチングに比べて演算量が少ないため、撮像画像における画素全てに対して特徴点マッチングを実行するには演算能力が足りない場合、この手法を用いてもよい。しかし、補間処理によって、特徴点マッチングを全ての画素に対して行う場合に比べて演算量を減らすことはできるが、距離情報の精度は下がることになる。これは、補間処理では、既知の２つの画素と、これらの画素が対応する或る特定の撮像対象内の点との距離の急激な変化を説明することができない場合があるためである。
【００５１】
ステップＳ３において、距離抽出装置５０によって抽出された距離情報は、距離情報および２つの点間（画像撮像装置は含まない）の距離測定値が必要な場合、距離算出装置５１によって変換される。距離算出装置５１は、距離情報を、画像撮像装置とは異なり、撮像対象外に存在し得る１つの点に関連するように変換する。本発明の一実施形態では、距離算出装置５１は、画像撮像装置ではない参照点と、当該撮像対象内の点との距離測定値を提供するために距離情報を変換する。例えば、参照点は、外科医によって撮像対象内の血管として選択してもよく、当該撮像対象内の複数の点に基づく距離情報は全て、画像撮像装置の代わりに血管に関するものである。距離情報を変換するために、距離算出装置５１は、画像撮像装置に対する参照点と撮像対象の点との角度または、画像撮像装置に対する参照点の位置等のさらなる情報を必要とする。そこで、距離算出装置５１は、必要な変換および距離情報の取得のために、標準的な三角法を用いてもよい。例えば、距離算出装置５１は、いずれも画像撮像装置ではない、或る特定の撮像対象内の２つの点ＡおよびＢ間の距離を算出する必要がある場合がある。係る方法を実行する工程を説明する。距離算出装置５１が、当該撮像対象内の点ＡおよびＢから画像撮像装置までのＺ次元における距離測定値を含む距離情報を距離抽出装置５０から受信する。距離算出装置５１は、画像撮像装置に対する点ＡおよびＢの仰角および回転角度も距離抽出装置５０から受信する。仰角および回転角度は、距離算出装置５１によって、点ＡおよびＢに対応する撮像画像における画素の位置と、画像撮像装置の視野とに基づいて計算される。これによって、撮像画像における或る画素が、当該視野の一部の角度範囲（angular fraction）に対応する。これらの角度および距離を把握することで、画像撮像装置に対する点ＡおよびＢの三次元座標を計算することができる。次いで、当該三次元座標を三平方の定理の三次元版と合わせて用いて、点ＡおよびＢ間の距離を計算する。これによって、変換された距離情報が生成される。例えば、センチメートル単位の三次元直交座標系に関して、点Ａの座標が（２，６，７）であり、点Ｂの座標が（４，８，１０）である場合、座標間の差が分かり、三平方の定理を適用することができる。この例では、点Ａの座標および点Ｂの座標の差異は、（２，２，３）ｃｍである。つまり、点間の距離は約４．１２３ｃｍとなる。
【００５２】
ステップＳ４において、画像選択装置５２は、直近に撮像された一対の立体画像のいずれか一方を選択する。画像生成装置５３および画像合成装置５４は、処理を実行する１つの画像を必要とする。つまり、一対の画像が三次元立体画像撮像装置によって同時に撮像される場合、右側画像または左側画像を選択する必要がある。画像選択装置５２は、ユーザの嗜好が記録されていない場合、ユーザによる入力または所定の基準に応じて画像を選択する。この選択された画像は、距離算出装置５１の後に処理が実行されるものであり、「選択画像」または「複製選択画像」と称する。
【００５３】
ステップＳ５において、距離視覚化画像を形成する画素が画像生成装置５３によって生成される。生成される画素の値は、距離情報から少なくとも部分的に導出され、この距離視覚化画像によって、距離および深度情報が提示される。生成された画素は、画像合成装置５４に伝送され、当該画像合成装置５４がこの生成された画素を利用して、合成画像を形成する。この合成画像を外科医が表示装置４０上で視認することで、距離視覚化画像を介して距離および深度情報が外科医に提示される。この距離視覚化画像によって、三次元立体画像が、外科医に対して或る特定の撮像対象の距離および深度情報を提示できるようになる。上記生成される画素の値は、距離抽出装置５０によって提供される距離情報、距離算出装置５１によって提供される変換された距離情報、距離視覚化画像、および選択画像における関連の画素の画素値のうちの少なくとも１つから導出される。画像生成装置５３は、選択画像における画素に関係付けられる１つまたは複数の画素について画素値を生成する。例えば、画像生成装置５３は、選択画像において選択された画素に関係付けられる画素を生成することができる。ここで、生成される画素の値は、距離算出装置５１によって選択された画素に基づく距離データ、選択された画素の値、および距離視覚化画像のうちの少なくとも１つの関数である。別の実施形態では、生成される画素の値は、生成された画素が関係付けられる選択された画素に近接する複数の画素に起因する距離データに依存してもよい。生成された画素の色は、選択画像におけるそれらの関係付けられる画素の色または他の値に部分的に依存してもよい。距離視覚化画像およびこれらを形成する画素を生成する方法の例を以下で図９〜図１１を参照してさらに詳細に説明する。
【００５４】
ステップＳ６において、画像合成装置５４は、画像生成装置５３から複数の生成された画素を受信し、複数の生成された画素を選択画像の複製と合成するように動作可能である。複数の生成された画素と複製選択画像とを合成することによって合成画像が形成される。この合成画像は、複数の生成された画素から形成された距離視覚化画像を含む。合成処理は、複製された選択画像の画素を、それらの関係付けられる生成された画素と置換して合成画像を形成することを含む。合成画像が形成されると、当該合成画像は表示装置４０に送信され、外科医に対して表示される。
【００５５】
ステップＳ７において、合成画像が画像合成装置５４から受信され、表示装置４０に表示される。上述したように、合成画像は、選択画像および三次元立体画像と並べてまたは三次元立体画像の代わりに表示することができる。これらの画像は、別々のディスプレイに表示してもよいし、システムの実施形態によっては、一台の分割画面ディスプレイに表示してもよい。
【００５６】
図６を参照して説明した方法は、三次元立体外科用画像処理システムの操作方法に関する。そのため、当業者には理解されるように、二次元外科用画像処理システムの操作方法を実現する場合、図６とはステップ数が異なる。つまり、特に、ステップＳ１において単一の画像が画像撮像装置によって撮像され、ステップＳ２において距離情報が距離センサを介して抽出される。また、ステップＳ１において単一の画像のみが撮像されればよいため、ステップＳ４は不要となる。
【００５７】
図６に示した方法のステップＳ２において、二次元画像撮像装置を具備する実施形態では、距離抽出装置５０は、距離センサまたはそれと等価の距離測定装置から撮像対象内の複数の点に関する距離情報を取得する。このようなセンサは、当該技術分野において既知であり、撮像対象内の複数の点と、画像撮像装置との距離を直接測定する。専用の距離測定センサを利用することで、距離情報を取得するために視差情報が必要ないため、三次元立体画像撮像装置が必要なくなる。したがって、本実施形態の距離抽出装置５０は、二次元画像撮像装置と共に使用されるように動作可能である。さらに、二次元画像撮像装置において距離測定センサを使用することで、第２の開口およびデジタル画像処理装置が必要ないため、断面積を小さく維持しながら、距離情報を画像撮像装置によって取得することが可能となる。しかし、開口が省かれる結果として節約された空間は、距離測定装置用の送信機および受信機の大きさによって相殺される可能性がある。図８は、本発明の本実施形態に係る画像撮像装置を示す。画像撮像装置は、図２（ａ）に示したものと同様であるが、距離測定センサ８０をさらに有する。距離測定センサ８０は、図８において別個の装置として示されているが、画像撮像装置の断面積を減らすためにデジタル画像処理装置２０に統合してもよい。当該技術分野で既知である多様な距離測定センサが上述したように実装するのに適している。例えば、赤外線距離センサが用いられる。
【００５８】
合成画像には、選択画像と比較して多くの要素が盛り込まれていることから、撮像対象の複数の点が合成画像において不明瞭になる場合がある。そのため、図４およびステップＳ７を参照して上述したように、合成画像は、選択画像および／または三次元立体画像に加えて、両方の画像が外科医に対して表示されるように表示してもよい。また、選択画像または三次元立体画像に加えて合成画像を表示することで、外科医が任意選択的に、別の（二次元または三次元立体）画像を、自身の施術の助けとする主な画像として用いながら、参照画像として合成画像を用いることができるようになる。画像のいくつかの異なる組合せを表示してもよいが、外科医に距離および深度情報を提供するために、これらの画像の少なくとも１つは、三次元立体画像または合成画像とすべきである。遠隔相談が行われる状況では、別の外科医に目下行われている外科手術を見て相談に乗ってもらうために、外科手術が行われている場所とは異なる場所に複数の合成画像をストリーミングしてもよい。実施形態によっては、施術を行っている外科医に利用可能である画像のサブセットのみを遠隔相談を行う外科医にストリーミングしてもよい。例えば、施術を行っている外科医が撮像対象の三次元立体画像、合成画像、および二次元画像を視認することを可能としながら、二次元および合成画像を、遠隔相談を行う外科医にストリーミングしてもよい。
【００５９】
本発明の実施形態によっては、処理部４１は、複数の撮像画像、選択画像、および合成画像のうちの少なくとも１つを記録するように動作可能である記録装置も有してもよい。外科医手術というそのリアルタイムな性質上、上述の距離抽出装置５０、距離算出装置５１、画像選択装置５２、画像生成装置５３、および画像合成装置５４ならびに図６の方法は、合成画像および選択画像が撮像対象のリアルタイム映像の１つのフレームを形成するように実質的にリアルタイムで動作してもよい。係る実施形態において、処理手段が起こす任意の遅延は、システムのユーザに気付かれないように最小化すべきである。例えば、当該技術分野では、リアルタイム映像を視聴する場合、３つのフレームを超えて遅延が生じるとユーザが遅延に気付くことが知られている。したがって、処理手段が起こす任意の遅延は、３０フレーム毎秒の映像システムにおいて３つのフレームに相当する期間を下回る必要がある。
【００６０】
外科用画像処理システムが三次元立体画像撮像装置を有する本発明の実施形態において、三次元立体画像は、いくつかの状況においては視認が不快になる可能性が高い。これは、例えば画像の深度が、人間が快適に視認可能な深度よりも大きい場合に起こり得る。或る特定の撮像対象の全ての特徴点が画面の前方または後方に位置するように見える場合、最大深度（depth budget）の約半分しか利用可能でないため、このような状況が生じる可能性が高まり得る。当該撮像対象の特徴点が全て前方に見える現象は、例えば、画像撮像装置の複数の開口の平行位置合わせ、つまり、無限収束距離に起因して生じ得る。先に述べたように、二次元画像を、別の画面に同時に表示することもできる。そのため、外科医は依然として、或る特定の撮像対象の少なくとも１つの画像を視認することができる。しかし、三次元立体画像の視認が不快になると、外科医は、同時に表示されている二次元画像を視認することしかできない場合があるため、当該撮像対象の全ての深度情報を失う場合がある。こういった状況が生じた場合、ステップＳ７において、処理部は、合成画像が別の表示装置上にまだ表示されていない場合、三次元立体画像に代えて合成画像を表示するように構成されてもよい。この三次元立体および合成画像間の切換えは、システムを使用する外科医によって開始されてもよく、または、三次元立体画像の深度が、自動設定された、または外科医によってユーザインタフェースを介して設定された或る一定の閾値を超えたことを処理部が検出したときに、自動的に実行されてもよい。
【００６１】
本発明の実施形態によっては、処理部は、外科医が、システムを自身のニーズに合わせて構成することができるように、ユーザによる入力を受け付けるように動作可能である。例えば、外科医は、距離算出装置５１が距離を変換するための参照点を選択し、ディスプレイ上の合成画像と三次元立体画像の表示の切換えを制御し、合成画像によって表示される距離視覚化画像を選択することが可能である。ユーザによる入力は、処理部に接続されたキーボードおよびマウスの構成を通じて入力してもよい。ここでは、ポインタが、表示された合成画像に重ねられ、外科医に対して、外科医自身による入力を示す。代替的に、表示装置は、表示装置の画面をタッチする等のジェスチャーベースの入力を受け付けるように動作可能としてもよい。タッチスクリーンユーザインタフェースによる入力によって、外科医が迅速かつ容易に、距離算出装置５１によって提供される距離情報の基準にさせたい合成画像内の参照点を選択することが可能になるであろう。手術室というその無菌性質上、タッチスクリーンベースのユーザインタフェースはまた、洗浄が容易である表面を提供する。したがって、キーボードおよびマウス等の入力装置と比較して清潔さの点で利点がある。
【００６２】
図６のステップＳ５において、画像生成装置５３は、代替的なある範囲の距離視覚化画像を形成する複数の画素を生成する。距離視覚化画像のそれぞれは、異なる視覚手段を用いて、合成画像を視認している外科医に距離および深度情報を提示する。つまり、これらの距離視覚化画像は、外科用画像処理システムを用いる外科医に深度情報を提供するための代替的な手段を三次元立体画像に提供する。合成画像によって提示される距離視覚化画像は、上述したユーザ入力手段を介して外科医によって、固有の距離情報を提示するように選択および構成されてもよい。
【００６３】
本発明の一実施形態では、画像生成装置５３は、距離値視覚化画像を形成する複数の画素の画素値を生成する。当該画素値は、距離抽出装置５０または距離算出装置５１によって提供される距離データに依存する。当該複数の生成された画素は、距離値視覚化画像を形成する。当該距離値視覚化画像は、選択画像の複製と合成された後、或る特定の撮像対象内の複数の点間の距離を表す距離測定値を提示する。図９は、合成画像が表示装置上に表示されるときに複数の生成された画素によって形成される距離測定値を示す。距離値視覚化画像は、或る特定の撮像対象内の複数の点に対応する一対の画素９０および９１間の距離測定値９４を提示する。これらの点として、例えば、当該撮像対象内の２つの点や、当該撮像対象の外部の参照点と当該撮像対象内の点や、当該撮像対象内の点と画像撮像装置が挙げられる。複数の対の点９０および９１ならびに９２および９３に対応する数値で表す距離視覚化画像を形成する画素は、画像生成装置５３によって生成されてもよい。距離測定値は、距離値視覚化画像によって深度、幅および高さ情報が提供されるように、当該撮像対象の３つ全ての寸法における距離を指し示してもよい。画像生成装置５３によって生成される画素値は、選択画像において当該画素値が関係付けられる画素の値とは異なり、複数の生成された画素の色は、外科医が選択してもよい。例えば、生成された画素に関係付けられる画素の色が赤色である場合、当該生成された画素は、黄色か、または任意の適した別の色とすることができる。距離測定値の単位は、外科医が、自身の好みに応じて選択することもできる。この場合、測定単位の変換は、距離算出装置５１が行う。画像生成装置５３は、合成画像の２つの画素９０および９１間の線９５を形成する複数の画素を生成するように動作可能とすることもできる。この線９５は、外科医が、距離測定値が指し示す合成画像の画素を特定する手助けとなる。
【００６４】
合成画像を介して距離測定値を提供することで、外科医が、手動で特定するのが難しい場合がある撮像対象内の様々な大きさおよび距離を迅速かつ容易に追跡することが可能になる。
【００６５】
例えば、上述した距離値視覚化画像は、外科医が患者の体内に挿入した医用装置を組織の領域から所定の距離だけ離しておく必要がある場合に用いることができる。代替的に、数値で表す距離視覚化画像は、外科医が切開を行う場合、切開の大きさまたは面積を表示するように構成されてもよい。これによって、外科医は、従来は推測する必要があった切開の寸法を正確に確認することができるようになる。このような状況では、外科医が、２つ以上の動的参照点、すなわち、切開の開始および終了点または或る領域を画定する３つ以上の点間の距離測定値を提示するように画像生成装置５３を構成することが必要とされる場合がある。ここで、当該２つ以上の動的参照点は、当該技術分野で既知である画像追跡技法を用いてまたはユーザが手動で追跡することができる。
【００６６】
本発明の一実施形態では、画像生成装置５３は、２つの点間の距離測定値が一定の限度を超えた場合に、警告音を鳴らしたり、視覚的な通知を表示することによって外科医にその旨を通知するように動作可能であってもよい。例えば、外科的措置中に組織に対する切り込みが一定の寸法を超えないようにすることが大事である場合、画像生成装置５３は、切り込みの寸法がこの限度に接近したら外科医にその旨を通知するように構成することができる。
【００６７】
代替的な一実施形態では、撮像対象内の複数の点間の距離測定値は、画像生成装置５３によって監視されてもよいが、閾値に接近したときにのみ表示される。これによって、手術中の外科医が不要な距離視覚化画像に気を逸らされないようにすることができる。要するに、距離値視覚化画像は、合成画像を視認している外科医に対して、外科医の集中に悪影響を及ぼさないようにしながら、手術が行われている領域に関する改善された情報を提供する。
【００６８】
本発明の別の実施形態では、画像生成装置５３は、色ベースの距離視覚化画像を形成する複数の画素に関する画素値を生成する。当該画素値は少なくとも、距離抽出装置５０または距離算出装置５１によって提供される距離データに依存する。色ベースの距離視覚化画像は、撮像対象内の対応する点と、画像撮像装置等の参照点との距離に応じて複数の生成された画素を色付けすることによって、或る特定の撮像対象内の複数の点間の距離を表す。複数の生成された画素の色は、完全に撮像対象内の距離情報に依存してもよい。しかし、実施形態によっては、それらの色は、部分的に距離情報と、生成された画素が関係付けられる選択画像の画素の色とに依存してもよい。このように色が部分的に依存することによって、距離情報を伝える色が選択画像の上部に重ねられているような印象が与えられる。したがって、選択画像の本来の色を部分的に維持することができる。図１０は、合成画像が表示装置に表示されるときに複数の生成された画素によって形成された、色ベースの距離視覚化画像を示す。画像合成装置５４は、複製選択画像の複数の画素を、それらに関係付けられる複数の生成された画素で置換することで合成画像を形成する。距離情報に関する複数の生成された画素の色の依存度によってカラーマップが得られる。当該カラーマップにおいて、合成画像の色が、撮像対象内の複数の点と、参照点との距離を反映する。
【００６９】
図１０において、複数の異なる陰影パターンは、異なる色および参照点からの異なる距離を表す。図１０において、参照点は画像撮像装置であり、線状ハッチング１００は、画像撮像装置に最も近い撮像対象の領域を表す。昇順に、点状ハッチング１０１と、粗い交差線状ハッチング１０２と、細かい交差線状ハッチング１０３と、円状ハッチング１０４とは、画像撮像装置から遠くなる領域を表す。色ベースの距離視覚化画像が合成画像によって提示される場合、各色で表される距離を定義する一覧表（key）１０５を提示してもよい。
【００７０】
点間の距離は、距離の程度に応じて、すなわち０〜５ｍｍ群、５〜１０ｍｍ群毎にグループ化してもよい。各群における複数の点に対応する画素は、実質的に複数の同じ色の領域が合成画像によって示されるように同じ値を有してもよい。代替的に、連続した色のスペクトルが合成画像に存在するように、参照点から異なる距離にある撮像対象の点に対応する各画素が、異なる色に割り当てられてもよい。例えば、画像撮像装置に最も近い複数の点に対応する、生成された画素が、赤色に色付けされ、参照点から最も遠い複数の点に対応する画素が青色に色付けされてもよい。したがって、中間の距離に位置する複数の点に対応する画素は、参照点からの距離に応じて赤色、黄色、緑色、青色となる。
【００７１】
複数のカラーマップの解像度はまた、それらが表示している撮像対象の環境に合わせることで合成画像を視認する外科医の要望に見合った情報を提供するようにしてもよい。例えば、撮像画像の画素は、複数の組に分けられ、当該組の画素の色が、これらの画素が対応する撮像対象内の複数の点および参照点間の平均距離に依存してもよい。代替的に、個々の画素の色は、撮像対象内の対応する点と、参照点との距離にのみ依存してもよい。
【００７２】
本発明の別の実施形態では、画像生成装置５３は、彩度ベースの距離視覚化画像を形成する複数の画素に関する画素値を生成する。この場合、これらの画素値は、距離抽出装置５０または距離算出装置５１によって提供される距離データに依存する。複数の生成された画素は、当該複数の生成された画素が選択画像の複製に合成された後、当該合成画像の画素の彩度が、撮像対象内の対応する点と、参照点との距離に依存するように、彩度ベースの距離測定値を形成する。図１１は、合成画像が表示装置上に表示される場合、複数の生成された画素に形成された彩度ベースの距離視覚化画像を示す。
【００７３】
図１１において、彩度（濃淡の度合いによって示す）は、撮像対象内の複数の点と、画像撮像装置との距離を示す。そのため、画像撮像装置に近い撮像対象内の複数の点に対応する画素は、彩度が高く（１１０）、画像撮像装置から遠い複数の点に対応する画素は、彩度が低い（１１１）。色ベースの距離視覚化画像を参照する上記利点は、彩度ベースの距離視覚化画像に同様に適用できるが、他にも多くの利点を有してもよい。例えば、撮像対象内の対応する複数の点と、参照点との距離を反映するように複数の画素の彩度を調節することによって、撮像対象の元々の色が維持される。これにより、異なる色を有する撮像対象の特徴点がより認識し易くなるため、外科手術環境において有利であり得る。例えば、静脈等の組織が破裂した場合、外科医がこの発症にできるだけ早急に気付くことが極めて重要である。撮像対象の色が調節された場合、血液の色が分かり難くなり、破裂に気付くのが遅れる。複数の画素の彩度が変更された場合、複数の画素の色が調節された場合に比してより早急に静脈破裂等の発症およびこれに付随する血液に気付くことができる。
【００７４】
上述のユーザ制御によって、撮像対象内の参照点の配置を制御する手段が外科医に提供され、外科医が上述の代替的な深度視覚化画像の切換えを行うことができるようになる。例えば、外科医は、最大関心事が切開の大きさである場合、距離測定値視覚化画像を選択することができる。或いは、外科医は、処置具に近い撮像対象の複数の特徴点にまず集中したい場合、彩度ベースの視覚化画像を選択し、処置具における参照点を位置決めすることができる。これによって、処置具に近接する撮像対象の複数の領域は、彩度がより高いため、最も目立つようになる。距離視覚化画像が選択可能であることによって、外科医は、合成画像を自身の好みに合わせることも可能になる。これによって、外科手術の精度を改善することが期待できる。本例においても、複数の参照点は、当該技術分野で既知である画像追跡技法を用いてまたはユーザが手動で追跡することができる。
【００７５】
本発明の実施形態によっては、参照点は、ユーザによって決定されてもよい。この場合、距離算出装置５１は、距離値視覚化画像によって提示される距離が、撮像対象内の重要な特徴点までの距離を示すように抽出した距離情報を変換する。これに加えて、複数の参照点は、参照点と、移動する画像における特徴点とを関係付けることができるように動的に再配置することも可能である。例えば、状況によっては、外科医が、手術用の道具と、患者の組織との距離を把握することが有用である場合がある。このような状況において、外科医は、参照点と、メスの先端とを関係付けるように選択することができ、結果として得られる距離視覚化画像が、メスの先端と、撮像対象内の他の点との距離を提示する。この場合、メスとカメラとの関係は、固定されているか、既知である。
【００７６】
上述の実施形態に加えて、他の距離視覚化画像は、画像生成装置５３によって生成される画素から形成されてもよい。例えば、実施形態によっては、複数の生成された画素の値が、球形の三次元色モデル上の位置から抽出されてもよい。ここで、当該球形の三次元色モデル上の位置は、画素が対応する撮像対象内の点と、参照点との距離によって確定される。
【００７７】
本発明の別の実施形態では、画像生成装置５３によって生成される複数の画素の値が、複数の生成された画素が対応する撮像対象内の複数の点と、参照点との距離の変化率に依存してもよい。これらの生成された画素から形成された距離視覚化画像が、例えば、
組織の領域の大きさが急変するのを防止すべき場合に外科医にとって有益となり得る。上述した数値で表す距離視覚化画像と同様に、外科医は、距離または領域の変化率が閾値を超えた場合に気付くことができる。例えば、様々な寸法が急に変わる組織の領域が、別個に色でハイライトされることによって、外科医に対して通知されることができる。
【００７８】
本発明の実施形態を、外科医に使用される場合について説明したが、上述した発明は、ユーザとすることができる任意の適した有資格者によって使用および操作することもできる。また、本発明の実施形態を人体の外科用画像処理について説明したが、当該発明は、獣医または他の適切な有資格者による動物の体の外科用画像処理にも適用可能である。
【００７９】
さらに、本発明の実施形態を、外科用画像処理装置および手術について説明したが、当該本発明の実施形態は、代替的な状況において使用することもできる。本発明の実施形態は、ボアスコープまたは非外科的３Ｄ顕微鏡を含んでもよく、クローズアップ３Ｄ作業および画像処理（close-up 3D work and imaging）を必要とする産業および状況において使用してもよい。これには、例えば、ライフサイエンス、半導体製造、および機械および構造に関する検査が挙げられる。つまり、一部の実施形態は外科用画像処理装置およびシステムに関しても、他の実施形態は、画像処理検査装置および／またはシステムに関してもよい。
【００８０】
もちろん、上記の教示に鑑みて、本開示の様々な修正および変更が可能である。したがって、添付の特許請求の範囲内において、本発明を、本明細書において具体的に説明したのと異なる形態で実施することが可能であることを理解されたい。
【００８１】
本発明の実施形態が、少なくとも部分的に、ソフトウェア制御式データ処理装置によって実施されるものとして記載されている限り、光ディスク、磁性ディスク、または半導体メモリ等のソフトウェアを実行する非一時的な機械可読媒体も、本発明の一実施形態を示すものとしてみなされることを理解されたい。
【図６】
2015531271.tif 000004
【図１】
2015531271.tif 000005
【図２】
2015531271.tif 000006
【図３】
2015531271.tif 000007
【図４】
2015531271.tif 000008
【図５】
2015531271.tif 000009
【図７】
2015531271.tif 000010
【図８】
2015531271.tif 000011
【図９】
2015531271.tif 000012
【図１０】
2015531271.tif 000013
【図１１】
2015531271.tif 000014
【国際調査報告】
2015531271.tif 000015
2015531271.tif 000016
2015531271.tif 000017
2015531271.tif 000018
2015531271.tif 000019