(57)【要約】医療撮影システムは、画像をキャプチャするよう構成される撮影回路と、前記センサ回路の上方に装着された回折フィルタアレイと、前記回折フィルタアレイ及び前記センサ回路の間の距離を調節するよう構成されるセパレーションデバイスとを具備する。
2020525055.tif 000002
【特許請求の範囲】
【請求項１】
画像をキャプチャするよう構成される撮影回路と、
前記センサ回路の上方に装着された回折フィルタアレイと、
前記回折フィルタアレイ及び前記センサ回路の間の距離を調節するよう構成されるセパレーションデバイスと
を具備する医療撮影システム。
【請求項２】
請求項１に記載のシステムであって、
制御回路をさらに具備し、
前記制御回路に制御されて前記セパレーションデバイスは変形するよう構成される
システム。
【請求項３】
請求項２に記載のシステムであって、
前記セパレーションデバイスは、圧電性物質又は電気活性ポリマーの何れかで製造される
システム。
【請求項４】
請求項１に記載のシステムであって、
前記セパレーションデバイスはフレームであり、前記フレーム上に前記回折フィルタアレイが装着され、前記フレームは前記撮影回路を囲むように構成される
システム。
【請求項５】
請求項１に記載のシステムであって、
前記セパレーションデバイスは、透明であり、前記撮影回路に装着される
システム。
【請求項６】
請求項１に記載のシステムであって、
前記システムは、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が所定距離以下のときに第１のモードで動作し、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が前記所定距離より大きいときに第２のモードで動作するよう構成される
システム。
【請求項７】
請求項６に記載のシステムであって、
前記制御回路は、前記第１のモードで画像をキャプチャし、前記第２のモードで画像をキャプチャし、前記第１のモードでキャプチャした前記画像を、前記第２のモードでキャプチャした前記画像に重畳するよう構成される
システム。
【請求項８】
請求項６に記載のシステムであって、
前記制御回路は、
前記第１のモード又は前記第２のモードの一方で複数の画像をキャプチャし、他方のモードで１個の画像をキャプチャし、
所定のオブジェクトが両方のキャプチャされた前記画像に存在するとき、前記第１のモード又は前記第２のモードの一方でキャプチャした前記画像と、前記他方のモードの前記画像とを重畳する
よう構成される
システム。
【請求項９】
請求項１に記載のシステムであって、
前記撮影センサの移動を判断するよう構成されるセンサ回路をさらに具備し、
前記撮影回路は、前記センサ回路が前記撮影センサの所定の移動を判断すると、前記画像をキャプチャするよう構成される
システム。
【請求項１０】
請求項１に記載のシステムであって、
ユーザインタフェースをさらに具備し、
前記撮影回路は、前記ユーザインタフェースへのユーザ入力に応じて、前記画像をキャプチャするよう構成される
システム。
【請求項１１】
画像をキャプチャし、
回折フィルタアレイ及び前記回折フィルタアレイの上方に装着された撮影回路の間の距離を調節する
医療撮影方法。
【請求項１２】
請求項１１に記載の方法であって、
セパレーションデバイスを変形させることにより、前記回折フィルタアレイ及び前記センサ回路の間の前記距離を調節する
方法。
【請求項１３】
請求項１２に記載の方法であって、
前記セパレーションデバイスは、圧電性物質又は電気活性ポリマーの何れかで製造される
方法。
【請求項１４】
請求項１２に記載の方法であって、
前記セパレーションデバイスはフレームであり、前記フレーム上に前記回折フィルタアレイが装着され、前記フレームは前記撮影回路を囲むように構成される
方法。
【請求項１５】
請求項１２に記載の方法であって、
前記セパレーションデバイスは、透明であり、前記撮影回路に装着される
方法。
【請求項１６】
請求項１１に記載の方法であって、
前記回折フィルタアレイ及び前記撮影回路の間の前記距離が所定距離以下のときに第１のモードで動作し、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が前記所定距離より大きいときに第２のモードで動作する
方法。
【請求項１７】
請求項１６に記載の方法であって、
前記第１のモードで画像をキャプチャし、前記第２のモードで画像をキャプチャし、前記第１のモードでキャプチャした前記画像を、前記第２のモードでキャプチャした前記画像に重畳する
方法。
【請求項１８】
請求項１６に記載の方法であって、
前記第１のモード又は前記第２のモードの一方で複数の画像をキャプチャし、他方のモードで１個の画像をキャプチャし、
所定のオブジェクトが両方のキャプチャされた前記画像に存在するとき、前記第１のモード又は前記第２のモードの一方でキャプチャした前記画像と、前記他方のモードの前記画像とを重畳する
方法。
【請求項１９】
請求項１１に記載の方法であって、さらに、
前記撮影回路の移動を判断し、
前記撮影回路は、前記撮影回路の所定の移動を判断すると、前記画像をキャプチャするよう構成される
方法。
【請求項２０】
請求項１１に記載の方法であって、さらに、
ユーザインタフェースへのユーザ入力に応じて、前記画像をキャプチャする
方法。
【請求項２１】
コンピュータ読み取り可能なコードを具備し、
前記コンピュータ読み取り可能なコードは、コンピュータにロードすると、請求項１１に記載の方法を実行するよう前記コンピュータを構成する
コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、出願日２０１７年６月２９日のＥＰ１７１７８７７５．７の利益を主張し、当該出願の全ての内容を参照することにより本願に含める。
【０００２】
本開示は、医療撮影システム、方法及びコンピュータプログラムに関する。
【背景技術】
【０００３】
ここで「背景技術」の説明は、一般に、本開示のコンテクストを提示する目的である。ここで言及した発明者らの研究は、背景技術セクション及び明細書の各形態に記載する範囲で、明示的又は黙示的に本開示に対する従来技術であることを認める。明細書の各形態は、出願時の従来技術を限定するものでは無い。
【０００４】
医療画像を判読するのは極めて難しい。一因として、背景の大部分が、血液及び軟部組織の色のため同じような赤色であることが挙げられる。従って、スペクトルの赤色の部分の色をより良好に差別化する医療撮影システムが、有利である見込みがある。例えば、低スペクトル帯域を多数設けることにより、スペクトルの赤色の部分の色をより良好に差別化する。
【０００５】
本開示の目的は、少なくともこれらの問題に対処することにある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】「Ultra-High-Sensitivity  Color  Imaging  via  a  Transparent  Diffractive-Filter  Array  and  Computational  Optics」、Peng  WANG及びRajesh  MENON共著。Optica  Vol.  2,  No.  11／2015年11月、933-939ページ
【非特許文献２】「Simultaneous  Patterning  of  Independent  Metal/Metal  Oxide  Multi-Layer  Films  Using  Two-Tone  Photo-Acid  Generating  Compound  Systems」、Christopher  E.  J.  Cordonier及びHideo  Honma共著。Nanomaterials  2012,  2,  312-328;  doi:  10.3390/nano2040312  ISSN  2079-4991
【発明の概要】
【０００７】
第１の形態によれば、医療撮影システムは、画像をキャプチャするよう構成される撮影回路と、前記センサ回路の上方に装着された回折フィルタアレイと、前記回折フィルタアレイ及び前記センサ回路の間の距離を調節するよう構成されるセパレーションデバイスとを具備する。
【０００８】
上述の各段落は、全般的な導入のために記述したものであり、特許請求の範囲を限定するものでは無い。開示する各実施形態及びさらに有利な点は、添付の図面と共に以下の発明な詳細の説明を参照して最良に理解される。
添付の図面と併せて考慮して以下の発明の詳細な説明を参照することにより、本開示及び本開示の多数の有利な点は、容易により完全に理解される。
【図面の簡単な説明】
【０００９】
【図１】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２】図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図３Ａ】図３Ａは、レンズ装置を示す。
【図３Ｂ】図３Ｂは、本開示の各実施形態に係るレンズ装置を示す。
【図３Ｃ】図３Ｃは、本開示の各実施形態に係るレンズ装置を示す。
【図４Ａ】図４Ａは、本開示の各実施形態に係るレンズ装置を示す別の図である。
【図４Ｂ】図４Ｂは、本開示の各実施形態に係るレンズ装置を示す別の図である。
【図５Ａ】図５Ａは、本開示の各実施形態に係る内視鏡視野を示す。
【図５Ｂ】図５Ｂは、本開示の各実施形態に係る内視鏡視野を示す。
【図６】図６は、本開示の各実施形態に係るフロー図を示す。
【発明を実施するための形態】
【００１０】
図面中、複数の図中で同様の参照符号は、同一又は対応するパーツを示す。
【００１１】
１．応用例
＜＜１．応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【００１２】
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【００１３】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【００１４】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【００１５】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【００１６】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【００１７】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【００１８】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【００１９】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【００２０】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【００２１】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【００２２】
光源装置５０４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【００２３】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【００２４】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【００２５】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【００２６】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【００２７】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【００２８】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【００２９】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【００３０】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【００３１】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【００３２】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【００３３】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【００３４】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【００３５】
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【００３６】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【００３７】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【００３８】
（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【００３９】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【００４０】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【００４１】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【００４２】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
【００４３】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【００４４】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【００４５】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【００４６】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【００４７】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５００１に搭載される。
【００４８】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
【００４９】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【００５０】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【００５１】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【００５２】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【００５３】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【００５４】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【００５５】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【００５６】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【００５７】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【００５８】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【００５９】
本開示の一実施形態に係る技術は、上述の各コンポーネントのうち制御部５０６３に好適に適用可能である。具体的には、本開示の一実施形態に係る技術は、内視鏡法及び／又は顕微鏡法撮影、あるいは、如何なる医療撮影にも関連する。本開示の一実施形態に係る技術を内視鏡法及び／又は顕微鏡法技術及び／又は医療撮影に適用することにより、より一般には、赤色の階調の精度を上げることができ、従って、内視鏡法中にオブジェクトをより容易に識別することができる。これにより、患者の傷害又は死亡の可能性が減り、医療処置（手術等）を実施する効率が向上する。
【００６０】
内視鏡法画像の赤色の階調の精度を上げるために、内視鏡法の形態に拠っては、マルチスペクトル及びハイパースペクトル撮影が有用であることが知られている。何故なら、マルチスペクトル撮影は、スペクトルを多数のスペクトル帯域に分離し、ハイパースペクトルは、スペクトルをさらに多数に分離するからである。
【００６１】
この技術は、特定の物質が特定の周波数又は狭い範囲の周波数で光を放射又は反射する場合に有利である。従って、検出の精度がより粗くても、これらの物質を識別可能である。しかしながら、赤色、緑色及び青色帯域のみ使用される場合（Ｂａｙｅｒフィルタのように）、各帯域の識別性は、赤色の種々の階調の総量に覆い隠される可能性がある。
【００６２】
従って、内視鏡撮影の形態に拠っては、ハイパースペクトル撮影及びマルチスペクトル撮影が有利であることが知られている。
【００６３】
「非特許文献１」は、ハイパースペクトル撮影及びマルチスペクトル撮影を医療及び内視鏡撮影に適用することを開示していない。しかしながら、「非特許文献１」は、一般的なハイパースペクトル撮影の一メカニズムを開示する。
【００６４】
本システムでは、回折フィルタアレイ（ＤＦＡ）を使用する。回折フィルタアレイは、当業者に公知であり、物質層を有し、物質層の面を横切って光の回折が変化する。このフィルタは、全ての光を通過させるので、Ｂａｙｅｒフィルタより感度が高い。「非特許文献１」の開示によれば、回折フィルタアレイは、製造が容易であり、１層に製造され、製造時の不精密性に対する許容範囲が大きい。本文献の開示によれば、また、回折フィルタアレイは、「スナップショット」ハイパースペクトルイメージャに使用することができる。
【００６５】
「非特許文献１」が開示するデバイスによれば、回折フィルタアレイが、標準的なパンクロマチック画像センサの前に配置される。回折フィルタアレイ及び画像センサは、距離「ｄ」だけ離間する。このデバイスの第１の特徴によれば、光の公知の波長をデバイスに適用し、レスポンスを測定し、これにより、「空間−スペクトル点拡散機能」を生成する（即ち、公知の「背景」に対する画像センサのレスポンスを検出する）。次に、この情報は、逆の問題を解決するのに用いられる（即ち、公知の画像センサレスポンスで「背景」を検出する）。これにより、画像センサの読み出しを空間−スペクトル点拡散機能と組み合わせて使用することにより、背景を推定する。
【００６６】
しかしながら、本開示の発明者らは、「非特許文献１」のデバイスの問題を認識した。（ｉ）ｄが小さくなるにつれて空間解像度が上がるため、デバイスは距離「ｄ」の影響を受けやすい。一方、（ｉｉ）ｄが小さくなるにつれて複数の画素間のクロストークの影響によりスペクトル解像度が劣化する。
【００６７】
従って、「非特許文献１」のように距離「ｄ」を固定値とすると、スペクトル及び空間解像度の間のトレードオフとなる。
【００６８】
これは、とりわけ医療撮影分野で問題となる。医療撮影分野では、外科医が血管系又は組織を切断することにより患者に傷害を与えることを避けるため、高い空間解像度が必要とされる。例えば、腹腔鏡手術において、典型的には、内視鏡画像は、多数の赤色の部分を含む。外科医は、画像を分析するため、画像内の異なる赤色を区別する必要がある。モニタを使用する外科手術においても、高解像度画像（４Ｋ又は８Ｋ等）の需要が大きい。外科手術の効率を向上するためである。従って、外科手術等のあらゆる医療撮影で、高スペクトル解像度及び高空間解像度の内視鏡を使用することの需要が大きい。
【００６９】
本開示では、この問題について説明する。
【００７０】
図３Ａは、「非特許文献１」に係る回折フィルタアレイ及び画像センサ装置を示す。装置３００’において、回折フィルタアレイ３０５は、画像センサ３１０から距離「ｄ」だけ離間している。各実施形態において、画像センサ３１０は、空間アレイ上で光エネルギーを検出し、光エネルギーを電気信号に変換し、これにより、光エネルギーを発する背景を記録する。
【００７１】
各実施形態において、画像センサ３１０は、電荷結合素子（ＣＣＤ）又はＣＭＯＳセンサである。
【００７２】
図３Ｂ及び図３Ｃは、本開示の各実施形態を示す。具体的には、図３Ｂ及び図３Ｃの回折フィルタアレイ及び画像センサ装置３００において、画像センサ３１０及び回折フィルタアレイ３０５は、距離をあけて離間している。しかしながら、図３Ａの装置３００’とは異なり、図３Ｂの装置３００において、画像センサ３１０及び回折フィルタアレイ３０５の間にセパレーションユニット３１５が設けられている。セパレーションユニット３１５は、画像センサ３１０又は回折フィルタアレイ３０５に装着される、あるいは、画像センサ３１０及び回折フィルタアレイ３０５の両方に装着される。重要な点として、画像センサ３１０及び回折フィルタアレイ３０５の間の距離を調節することが、セパレーションユニット３１５の目的である。言い換えれば、画像センサ３１０及び回折フィルタアレイ３０５の間の距離を調節できるなら、セパレーションユニット３１５は如何なる構成を有してもよい。
【００７３】
各実施形態において、セパレーションユニット３１５は、ＣＣＵ５０３９に接続される。ＣＣＵ５０３９は、セパレーションユニット３１５を制御することにより、画像センサ３１０及び回折フィルタアレイ３０５の間の距離を調節する。
【００７４】
図３Ｂ及び図３Ｃの画像センサ装置３００は、内視鏡又は内視鏡のヘッドユニット内に配置されることが想定される。勿論、医療撮影システムの一般的なケースとして、画像センサ装置３００は、同様に、如何なる適切な位置に配置されてもよい。
【００７５】
図３Ｂの具体例に係る装置３００において、セパレーションユニット３１５は、画像センサ３１０の周囲に配置される。言い換えれば、セパレーションユニット３１５は、画像センサ３１０及び／又は回折フィルタアレイ３０５をフレーム状に囲む。言い換えれば、画像センサ３１０及び回折フィルタアレイ３０５の間にギャップがある。このギャップは、空気又は別の気体で充填される。従って、本実施形態において、セパレーションユニット３１５は透明な物質で製造されてもよいし、そうでなくてもよい。
【００７６】
一方、図３Ｃの具体例に係る装置３００において、セパレーションユニット３１５は、画像センサ３１０及び／又は回折フィルタアレイ３０５を覆っている。言い換えれば、画像センサ３１０及び回折フィルタアレイ３０５の間のギャップは、セパレーションユニット３１５で充填される。本例において、セパレーションユニット３１５は、透明（あるいは少なくとも実質的に透明）な物質で製造する必要がある。画像センサ３１０及び回折フィルタアレイ３０５の間のギャップが透明な（且つ、多くの場合、気体でない）物質で充填されているので、この構成は強度が高い。
【００７７】
勿論、本開示は、図３Ｂ及び図３Ｃの２個の装置に限定されない。セパレーションユニット３１５は、格子状の装置でもよい。勿論、画像センサ３１０及び回折フィルタアレイ３０５の間のギャップに、サポート力があって回折フィルタアレイ３０５及び画像センサ３１０の間の離間が変化すると同時に膨張及び収縮する、別の物質が設けられてもよい。その一例はゲルでよい。
【００７８】
セパレーションユニット３１５は、サイズ変更を制御可能であれば如何なる物質で製造してもよい。例えば、セパレーションユニット３１５は、圧電性物質で製造してもよい。公知の圧電性物質は、電圧を印加すると体積内の応力が変化する物質である。さらに又は代わりに、セパレーションユニット３１５は、電気活性ポリマー（ＥＡＰ）で製造してもよい。ＥＡＰは、電界より刺激を受けると形又はサイズが変化するポリマーである。
【００７９】
図４Ａ及び図４Ｂは、回折フィルタアレイ３０５、画像センサ３１０及び距離ｄ（回折フィルタアレイ３０５及び画像センサ３１０の離間）の相互作用を説明するための図である。
【００８０】
図４Ａ及び図４Ｂに示すように、画像センサ３１０は、画像センサ３１０の表面に沿って延びる複数の画素３１２を有する。回折フィルタアレイ３１５は、多数のファセットを有する。各ファセットは、光を特定の角度に曲げる。図４Ａ及び図４Ｂの例において、同一のファセットが、光を垂直に対してθ°曲げる。
【００８１】
図４Ａ及び図４Ｂの差異は、画像センサ３１０及び回折フィルタアレイ３０５の間の離間距離ｄである。具体的には、図４Ａの離間距離ｄ＝ｄ１であり、図４Ｂの離間距離ｄ＝ｄ２であり、ｄ１はｄ２未満である。
【００８２】
画像センサ３１０及び回折フィルタアレイ３０５の間の離間距離の差異により、θの値が何であっても、画像センサ３１０上の異なる複数の数の画素３１２に光を拡散する効果がある。つまり、図４Ａに例示するように、ファセットを通過した光が１個の画素に拡散する。また、図４Ｂに例示するように、ファセットを通過した光が３個の画素に。
【００８３】
言い換えれば、図４Ａでは、１個の画素だけで光を検出するため、画像の空間解像度が高い。何故なら、ファセットを通過した光の位置と対応する画素とを相関させることが可能だからである。
【００８４】
一方、図４Ｂでは、３個の画素で光を検出するため、画像の空間解像度が低い。しかしながら、光が３個の画素に拡散するため、さらに、光が曲がる量は光の周波数に関連するため、画像のスペクトル解像度が高い。
【００８５】
回折フィルタアレイ離間距離が大きくなると、回折フィルタアレイの光拡散機能（この画素での光の色拡散に関連する）が大きくなる。これにより、回折フィルタアレイの第１の面の一点に到達した光が、複数の画素のより広いエリアに亘って拡散する。これにより、背景の空間表現を良好に再現するのが益々難しくなる。この処理が続く。最大回折フィルタアレイ離間距離が選択されると、その結果として、少なくとも空間画像の一部の種類を再現するのに適当な性能となる。
【００８６】
拡散から画像を再現するメカニズムは、「非特許文献１」に開示され、簡潔のためここでは繰り返さない。
【００８７】
より一般には、このシステムは、回折フィルタアレイ及び撮影回路の間の距離が所定距離以下のとき、第１のモードで動作すればよい。このシステムは、回折フィルタアレイ及び撮影回路の間の距離が所定距離より大きいとき、第２のモードで動作すればよい。
【００８８】
図５Ａ及び図５Ｂは、本開示の各実施形態に係る内視鏡視野の例を示す。具体的には、図５Ａの内視鏡視野４００Ａは、観察対象オブジェクト４１０Ａを示す。この観察対象オブジェクトは、ポリープ、腫瘍、癌、外傷又は外科医の如何なる観察対象オブジェクトでもよい。オブジェクトと言う語は、複数の物質の間の（例えば、軟部組織及び骨の間の）エッジを含んでもよいと想定される。このオブジェクトは、オブジェクト検出アルゴリズム又はエッジ検出アルゴリズムを用いて検出すればよい。後述するように、この検出されたオブジェクトは、高スペクトル解像度画像及び高空間解像度画像をアラインするのに使用してもよい。加えて、オブジェクトを検出することが、高スペクトル解像度画像及び高空間解像度画像をキャプチャするトリガとなってもよい。
【００８９】
医療撮影システムのユーザがユーザインタフェースを用いて、オブジェクト４１０Ａが何であるかを識別してもよい。本例において、あるいは、システムがオブジェクト４１０Ａを自動検出する例において、ハイライト領域４０５Ａを表示してもよい。この場合、ハイライト領域４０５Ａは、ユーザにオブジェクト４１０Ａをハイライトするボックスである（しかしながら本開示は限定されない）。
【００９０】
オブジェクトが識別されると、内視鏡視野の高スペクトル解像度画像及び／又は高空間解像度画像、あるいは、オブジェクトがキャプチャされる。図５Ａは、内視鏡視野の高スペクトル解像度画像を示す。図５Ｂは、内視鏡視野の高空間解像度画像を示す。
【００９１】
図６は、各実施形態に係るシステムの動作を説明するフローチャート５００である。
【００９２】
ステップ５０５で、プロセスが開始する。
【００９３】
ステップ５１０において、内視鏡（又は、より一般には、医療撮影プローブ）が、患者の体内の適切な位置に配置される。図５Ａ及び図５Ｂの例では、オブジェクト４１０Ａ及び４１０Ｂが内視鏡視野に含まれるので、内視鏡が適切な位置にあると判断される。
【００９４】
適切な位置にある場合、高空間解像度画をキャプチャする。これがステップ５１５である。高空間解像度画像をキャプチャするため、ＣＣＵ５０３９は、回折フィルタアレイ３０５及び画像センサ３１０の間の離間を制御する。電気信号又は電界制御信号等の制御信号をセパレーションユニット３１５に印加することにより、離間を制御する。適切な距離は、要求される空間解像度に応じて決定される。要求される空間解像度は、外科医が予め決定すればよい。あるいは、適切な距離は、観察対象オブジェクトから医療プローブの距離及び医療プローブの光源のタイプに応じて決定される。離間距離ｄの値は、製品の製造中に予め算出すればよい。
【００９５】
ＣＣＵ５０３９がセパレーションユニット３１５を制御して画像センサ３１０及び回折フィルタアレイ３０５の間の離間距離を所望の値とした後、ステップ５１５で画像をキャプチャし、ステップ５２０で画像を記憶する。
【００９６】
次に、プロセスはステップ５２５に進み、高スペクトル解像度画像をキャプチャする。高空間解像度についても同様である。ＣＣＵ５０３９は、画像センサ３１０及び回折フィルタアレイ３０５の間の外側離間距離を判断する。この情報は、製造中に提供される。この情報は、患者体内の環境光条件や、プローブ及び観察対象オブジェクトの間の距離を考慮した情報である。次に、ステップ５３０で、キャプチャされた画像を記憶する。
【００９７】
ユーザが高空間解像度及び高スペクトル解像度画像を有効に使えるように、記憶した高スペクトル解像度画像及び記憶した空間解像度画像を、互いに重畳する。適切な画素対応を判断して２個の画像を正確に互いに重畳するため、いくつかの方法のうち１つの方法を実装すればよい。
【００９８】
一例に係る方法によれば、エッジ検出アルゴリズム（例えば、キャニー法エッジ検出アルゴリズムの実装）を用いて高空間画像を評価すればよい。この方法により、高空間解像度画像に含まれる複数のラインのセットを生成する。次に、複数のラインは新たな画像を生成するのに用いられる。次に、エッジ検出アルゴリズムを用いて高スペクトル画像から明らかなスペクトル変化のエッジを検出することにより、高スペクトル画像を新たな画像とアラインする。なお、背景の一部は、目視可能な組織（これにより、高空間画像にも含まれる）及び高スペクトル画像を含むことがある。その一例は、骨及び軟部組織の間の境界である。
【００９９】
画像の別の領域に含まれる組織は、高空間解像度画像又は高スペクトル解像度画像の何れか一方で視認可能であり、他方では視認不可でもよい。例えば、血液が別の物質の上に掛かっている場合、高空間画像内で血液の形状のみ視認可能であり、高スペクトル解像度画像で血液の下にある組織の形状も視認可能である。従って、全ての高スペクトルエッジに対して、対応する高空間エッジがあるわけではない。高空間エッジの高スペクトル画像内での位置がわかるように、高空間エッジが記録される。言い換えれば、高スペクトルエッジ及び高空間エッジをアラインすると、高スペクトルエッジは、同じ位置の高スペクトル画像に置き換えることができる。
【０１００】
高空間エッジと最も密接に相関する高スペクトルエッジのサブセットを検出する。なお、高スペクトルエッジの用途は、２個の画像をアラインすることである。従って、２Ｄ画像には２個の参照点だけが必要であり、３Ｄ画像には３個の参照点が必要である。典型的には、具体的な点を用いるのではなく、アラインメントの精度を高めるため、ラインセクションを使用すればよい。画像内で複数のセクションが十分離間していれば、精度が益々高まる。画像の中央で互いに近くに位置する２個のセクションに比べて、画像の異なる隅に位置する２Ｄ画像の２個のセクションを使用したほうが、精度をさらに高めることができる。これを考慮して、精度の向上を実現することができる。従って、最適化が可能となり、これにより、画像をアラインするのに十分なサイズ及び離間を有する点の数の最小値が選択される。
【０１０１】
密接に相関する複数の高スペクトルエッジを、画像のレイヤとしての直近の画像に追加し、高空間解像度エッジにアラインする。次に、高スペクトル画像に置換された画像から、高スペクトルエッジを除去する。これにより、高空間エッジ及びアラインした高スペクトル画像を含む最終画像を生成する。次に、ディスプレイ上で最終画像をユーザに見せる。
【０１０２】
次に、ステップ５４０で、プロセスが終了する。
【０１０３】
上述のように、画像内のオブジェクトを検出することが、高空間及び／又はスペクトル解像度画像をキャプチャする１つのトリガとなる。しかしながら、本開示は、これに限定されない。例えば、外科医がユーザインタフェース等を用いるトリガにより、高スペクトル及び／又は空間解像度画像をキャプチャしてもよい。
【０１０４】
高スペクトル及び／又は高空間解像度画像をキャプチャするトリガの別のメカニズムは、所定のセンサの出力に応じて画像をキャプチャすることを含んでもよい。この付加的なメカニズムにおけるセンサは、医療撮影システム内に配置されるジャイロスコープ又は加速度計でよい（あるいは、如何なる適切なセンサ回路でもよい）。典型的には、センサ回路は、プローブ又は少なくとも画像センサ（内視鏡の先端でよい）が静止状態かどうかを検出する。静止状態は、外科医が特定のエリアを慎重に検討中であることや、高空間及び／又はスペクトル解像度画像が有用である可能性があることを示唆する。勿論、環境センサ（温度センサ等）等の他のセンサも想定される。温度センサは、高スペクトル解像度画像及び／又は高空間解像度画像が必要とされる、エリアの特定の温度プロファイルを出力すればよい。適切な温度プロファイルは、観察対象エリアでの高局所的温度を含んでもよい。
【０１０５】
センサ出力を、所定のセンサ出力のデータベースと比較する。所定のセンサ出力は、高空間及び／又はスペクトル解像度画像をキャプチャするトリガに用いられる。マッチした場合、あるいは、キャプチャしたセンサ出力が、記憶されている高空間及び／又はスペクトル解像度画像から所定範囲内の場合、高空間及び／又はスペクトル解像度画像をキャプチャする。
【０１０６】
他の変形例によれば、内視鏡画像又は医療画像を観察するのに有用である時のみ、高空間及び／又はスペクトル解像度画像をキャプチャする。
【０１０７】
具体的には、一動作モードに関する画像を優先的にキャプチャしてもよい。例えば、高空間解像度画像のみキャプチャしてもよい。高空間解像度画像をユーザに表示してもよい。ユーザは、観察対象オブジェクトがあると確信すると、第２のモードに切り替えればよい。この場合、高スペクトル解像度画像もキャプチャしてもよい。言い換えれば、制御回路は、第１のモード又は第２のモードの一方で複数の画像をキャプチャし、他方のモードで１個の画像をキャプチャし、所定のオブジェクトが両方のキャプチャされた画像に存在するとき、第１のモード又は第２のモードの一方でキャプチャした画像と、他方のモードの画像とを重畳するよう構成される。図６を参照して説明したように、次に、複数の画像を重畳及び表示すればよい。
【０１０８】
上記によれば、ユーザは、第２のモードに切り替える。しかしながら、本開示はこれに限定されない。具体的には、第１のモードでキャプチャした画像を、記憶されている画像と比較すればよい。記憶されている画像は、観察対象物のトリガを識別する画像でよい。例えば、血管の特定の構造をデータベース内に記憶しておき、医療撮影プロセス中に識別すればよい。このような構造を識別することで、高スペクトル解像度画像をキャプチャするトリガとして用いればよい。
【０１０９】
上記によれば、第１のモードで、高空間解像度画像を優先的にキャプチャする。しかしながら、勿論、本開示はこれに限定されない。第１のモードで高スペクトル解像度画像を優先的にキャプチャし、第２のモードで高空間解像度画像をキャプチャしてもよい。この場合、画像のスペクトル成分が急に変化したことをトリガとしてもよい。スペクトル成分の急な変化は、出血点等を示唆することがあり、その結果、高空間解像度画像がキャプチャされる場合がある。
【０１１０】
上記請求項の何れか一項に記載のシステムは、回折フィルタアレイ及び撮影回路の間の距離が所定距離以下のときに第１のモードで動作し、回折フィルタアレイ及び撮影回路の間の距離が所定距離より大きいときに第２のモードで動作するよう構成される。
【０１１１】
各実施形態において、ズームが使用されるときを、高空間解像度画像をキャプチャするトリガとしてもよい。何故なら、ズームを利用することは、高空間解像度が必要とされていることを示唆するためである。
【０１１２】
各実施形態において、装置３００’は、高圧消毒に適するべきである。当業者が理解するように、高圧消毒の用語は、高圧消毒器内で加熱することを意味する。これにより、装置３００’を殺菌する。
【０１１３】
高圧消毒するには、回折フィルタアレイ３０５は、高温で変質しない金属酸化物等のセラミック材料又はガラスで製造することができる。「非特許文献１」によれば、フォトレジストを使用してガラスにパターニングプロセスを行い、次に、ガラスをエッチングする。回折フィルタアレイ３０５が金属酸化物（亜鉛又は酸化インジウム等）である場合、「２」に開示されるパターニング及びエッチングプロセスを行えばよい。勿論、本開示はこれに限定されない。具体的には、回折フィルタアレイ３０５は、高圧消毒器の熱から回折フィルタアレイ３０５を保護するためのガラス容器内に密封されたプラスチック等のポリマーでよい。
【０１１４】
画像センサ３１０の感度及び回折フィルタアレイ３０５の透過率は、経時変化し得る。経時変化に対処するため、公知の画像目標及び光源の設定を使用することにより、「非特許文献１」のアルゴリズムを調整すればよい。
【０１１５】
本開示の各実施形態において、観察対象エリアの照明を変更してもよい。これにより、高空間解像度画像の空間解像度を上げることができる。例えば、離間距離ｄが特定値であるとき、異なる色は、空間解像度の異なる度合いを示す。
【０１１６】
何故なら、距離ｄは、スペクトル色及び空間画像を分解する性能を変化させるからである。空間解像度を最大化する（あるいは、少なくとも、増やす）ため、ｄをゼロに設定する。しかしながら、画像内の一点の全ての色が１個の画素に収束するため、スペクトル解像度は無くなる。距離ｄが大きいと、色が分離する。しかしながら、背景及び色に拠っては、空間が不明瞭になるおそれがある。
【０１１７】
従って、ｄの最適な設定（空間及びスペクトル解像度を併せて最大化するための）は、画像（画像の空間及びスペクトル分布）に拠る。
【０１１８】
ｄを適正な値にするための１つの方法としては、最初ｄをゼロにして、次に、再現した空間解像度が所定値になるまで、離間距離ｄを増加させる。この値が最小値と考えられる。その結果得られるスペクトル情報は、閾値（例えば、最大値）より大きくなる。このスペクトル情報は、特定の空間解像度を維持する範囲で取り得る最大値である。
【０１１９】
スペクトルレスポンスの認識力を維持しつつ画像の空間解像度を上げるには、多数の狭帯域からなる複数の光源を照明内に設けることが有用である。これは、波長が連続的に拡散する光とは反対である。狭帯域光は、ＬＥＤ又はレーザ等が発生する光である。これにより、各スペクトル光源が生成した対応する変換画像が、空間的に閉じ込められる。何故なら、各色が合焦画像を生成し、これにより、オリジナルの光の空間分布をより正確に抽出することができるためである。加えて、画像内の複数の色の相互関係は、例えば、画像内の観察対象物質に拠る。言い換えれば、複数の色の相互関係は、画像固有である。このため、照明を適切に制御すると、背景で反射される複数の色のセットは限定される。これは、空間及びスペクトル情報を分離するのに有用である。これは、実際に選択された回折フィルタアレイの構造にも拠る。回折性構造を有する回折フィルタアレイは、特定の波長の光を、特定の方向及び角度に拡散させる。回折性構造は、回折フィルタアレイに拠り異なる。一般に、勿論、似た色は、大体同じ様に振る舞う（似た色は、同じ様な角度及び方向に向かう）。しかしながら、少なくとも色範囲での似た色の波長の機能である似た色の拡散角度に拠る。
【０１２０】
画像内の全ての色に対して距離（ｄ）が最適化される。異なる帯域は具体的に最適化する必要は無い。
【０１２１】
内視鏡ビデオ画像をキャプチャしている最中に距離が変化した場合、その情報（距離ｄ又は空間／スペクトル解像度を示す情報）は、メタデータとしてビデオに記録／出力される。
【０１２２】
特定の波長エリア（赤色又は赤外線付近）のみスペクトル解像度が向上するように、スペクトル解像度を制御してもよい。
【０１２３】
本開示に係る種々の実施形態は、以下の番号付きの項により定義される。
１．画像をキャプチャするよう構成される撮影回路と、
前記センサ回路の上方に装着された回折フィルタアレイと、
前記回折フィルタアレイ及び前記センサ回路の間の距離を調節するよう構成されるセパレーションデバイスと
を具備する医療撮影システム。
２．項１に記載のシステムであって、
制御回路をさらに具備し、
前記制御回路に制御されて前記セパレーションデバイスは変形するよう構成される
システム。
３．項２に記載のシステムであって、
前記セパレーションデバイスは、圧電性物質又は電気活性ポリマーの何れかで製造される
システム。
４．上記項の何れか一項に記載のシステムであって、
前記セパレーションデバイスはフレームであり、前記フレーム上に前記回折フィルタアレイが装着され、前記フレームは前記撮影回路を囲むように構成される
システム。
５．項１乃至３の何れか一項に記載のシステムであって、
前記セパレーションデバイスは、透明であり、前記撮影回路に装着される
システム。
６．上記項の何れか一項に記載のシステムであって、
前記システムは、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が所定距離以下のときに第１のモードで動作し、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が前記所定距離より大きいときに第２のモードで動作するよう構成される
システム。
７．項６に記載のシステムであって、
前記制御回路は、前記第１のモードで画像をキャプチャし、前記第２のモードで画像をキャプチャし、前記第１のモードでキャプチャした前記画像を、前記第２のモードでキャプチャした前記画像に重畳するよう構成される
システム。
８．項６に記載のシステムであって、
前記制御回路は、
前記第１のモード又は前記第２のモードの一方で複数の画像をキャプチャし、他方のモードで１個の画像をキャプチャし、
所定のオブジェクトが両方のキャプチャされた前記画像に存在するとき、前記第１のモード又は前記第２のモードの一方でキャプチャした前記画像と、前記他方のモードの前記画像とを重畳する
よう構成される
システム。
９．上記項の何れか一項に記載のシステムであって、
前記撮影センサの移動を判断するよう構成されるセンサ回路をさらに具備し、
前記撮影回路は、前記センサ回路が前記撮影センサの所定の移動を判断すると、前記画像をキャプチャするよう構成される
システム。
１０．上記項の何れか一項に記載のシステムであって、
ユーザインタフェースをさらに具備し、
前記撮影回路は、前記ユーザインタフェースへのユーザ入力に応じて、前記画像をキャプチャするよう構成される
システム。
１１．画像をキャプチャし、
回折フィルタアレイ及び前記回折フィルタアレイの上方に装着された撮影回路の間の距離を調節する
医療撮影方法。
１２．項１１に記載の方法であって、
セパレーションデバイスを変形させることにより、前記回折フィルタアレイ及び前記センサ回路の間の前記距離を調節する
方法。
１３．項１２に記載の方法であって、
前記セパレーションデバイスは、圧電性物質又は電気活性ポリマーの何れかで製造される
方法。
１４．項１２又は１３に記載の方法であって、
前記セパレーションデバイスはフレームであり、前記フレーム上に前記回折フィルタアレイが装着され、前記フレームは前記撮影回路を囲むように構成される
方法。
１５．項１２又は１３に記載の方法であって、
前記セパレーションデバイスは、透明であり、前記撮影回路に装着される
方法。
１６．項１１乃至１５の何れか一項に記載の方法であって、
前記回折フィルタアレイ及び前記撮影回路の間の前記距離が所定距離以下のときに第１のモードで動作し、前記回折フィルタアレイ及び前記撮影回路の間の前記距離が前記所定距離より大きいときに第２のモードで動作する
方法。
１７．項１６に記載の方法であって、
前記第１のモードで画像をキャプチャし、前記第２のモードで画像をキャプチャし、前記第１のモードでキャプチャした前記画像を、前記第２のモードでキャプチャした前記画像に重畳する
方法。
１８．項１６に記載の方法であって、
前記第１のモード又は前記第２のモードの一方で複数の画像をキャプチャし、他方のモードで１個の画像をキャプチャし、
所定のオブジェクトが両方のキャプチャされた前記画像に存在するとき、前記第１のモード又は前記第２のモードの一方でキャプチャした前記画像と、前記他方のモードの前記画像とを重畳する
方法。
１９．項１１乃至１８の何れか一項に記載の方法であって、さらに、
前記撮影回路の移動を判断し、
前記撮影回路は、前記撮影回路の所定の移動を判断すると、前記画像をキャプチャするよう構成される
方法。
２０．項１１乃至１９の何れか一項に記載の方法であって、さらに、
ユーザインタフェースへのユーザ入力に応じて、前記画像をキャプチャする
方法。
２１．コンピュータ読み取り可能なコードを具備し、
前記コンピュータ読み取り可能なコードは、コンピュータにロードすると、項１１乃至２０の何れか一項に記載の方法を実行するよう前記コンピュータを構成する
コンピュータプログラムプロダクト。
【０１２４】
勿論、上記の教示に鑑み、本開示の多数の変形及び変更が可能である。従って、ここで具体的に記述したよりも、添付の各請求項の範囲内で本開示を実現することができると理解されたい。
【０１２５】
本開示の各実施形態は、ソフトウェア制御のデータ処理装置により、少なくとも一部が実装されると説明した。この限りにおいて、この様なソフトウェアを記憶した非一過性のマシン読み取り可能な媒体（光学ディスク、磁気ディスク、半導体メモリ等）も、本開示の一実施形態を示すと理解されたい。
【０１２６】
上記の明確な説明において、異なる機能ユニット、回路及び／又はプロセッサを参照して各実施形態を説明したと理解されたい。しかしながら、各実施形態から逸脱しない限り、異なる機能ユニット、回路及び／又はプロセッサの間で機能を適切に分散してもよいことは明らかである。
【０１２７】
上述の各実施形態は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む如何なる適切な形態に実装してもよい。上述の各実施形態は、オプションで、１又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして、少なくとも一部を実装してもよい。何れの実施形態のエレメント及びコンポーネントも、適切な方法で物理的に、機能的に及び論理的に実装してよい。実際に、１個のユニット内に、複数のユニット内に、又は、他の機能的ユニットの一部として、機能を実装してもよい。従って、開示した各実施形態は、１個のユニットに実装してもよいし、あるいは、異なるユニット、回路及び／又はプロセッサに物理的に及び機能的に分散してもよい。
【０１２８】
本開示は、いくつかの実施形態に関して説明した。しかしながら、上述の具体的な形態に限定することを意図したものでは無い。さらに、特定の各実施形態に関して特徴を説明した。しかしながら、各実施形態で説明した種々の特徴は、本技術を実装するために如何なる適切な方法で組み合わせてもよいと当業者に理解されたい。
【図１】
2020525055.tif 000003
【図２】
2020525055.tif 000004
【図３Ａ】
2020525055.tif 000005
【図３Ｂ】
2020525055.tif 000006
【図３Ｃ】
2020525055.tif 000007
【図４Ａ】
2020525055.tif 000008
【図４Ｂ】
2020525055.tif 000009
【図５Ａ】
2020525055.tif 000010
【図５Ｂ】
2020525055.tif 000011
【図６】
2020525055.tif 000012
【国際調査報告】
2020525055.tif 000013
2020525055.tif 000014
2020525055.tif 000015
2020525055.tif 000016
2020525055.tif 000017
2020525055.tif 000018
2020525055.tif 000019