(57)【要約】  撮像システムのための制御装置（１００）は、映像信号取得部（１１０）と、測光部（１３１）と、輝度制御部（１３２）とを有する。映像信号取得部（１１０）は、被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得する。測光部（１３１）は、映像信号のうち、蛍光に対応した１色の色別映像信号のみに基づいて蛍光の明るさを取得する。輝度制御部（１３２）は、測光部で取得された蛍光の明るさに基づいて、映像信号に基づき作成される蛍光画像の輝度を調整する。
2017073302.tif 000002
【特許請求の範囲】
【請求項１】
被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得するように構成された映像信号取得部と、
前記映像信号に含まれる前記蛍光に対応した１色の色別映像信号のみに基づいて前記蛍光の明るさを取得する測光部と、
前記測光部で取得された前記蛍光の明るさに基づいて、前記映像信号に基づき作成される蛍光画像の輝度を調整する輝度制御部と
を備える撮像システムのための制御装置。
【請求項２】
前記輝度制御部は、前記励起光の強度と、前記映像信号を作成する際の露出設定と、前記蛍光画像を作成する際の画像処理パラメータとのうち少なくとも何れか１つを調整することで、前記蛍光画像の輝度を調整する、請求項１に記載の制御装置。
【請求項３】
前記輝度制御部は、前記励起光の強度を最大にし、前記画像処理パラメータに含まれるゲインの値を調整することで、前記蛍光画像の輝度を調整する、請求項２に記載の制御装置。
【請求項４】
前記励起光は、近赤外光であり、
前記蛍光は、前記近赤外光よりも長波長の赤外光であり、
前記映像信号は、前記蛍光としての前記赤外光を撮像することにより得られる映像信号であり、
前記測光部は、前記蛍光に対応した１色の色別映像信号として、前記映像信号に含まれる赤色に対応した色別映像信号に基づいて前記蛍光の明るさを取得する、
請求項１に記載の制御装置。
【請求項５】
前記輝度制御部は、前記被検体を照明する光の光源を制御する光源制御部を含み、
前記光源制御部は、前記光源に前記励起光と共に前記励起光と波長が異なる照明光も射出させる、請求項１に記載の制御装置。
【請求項６】
前記励起光に係る蛍光に基づく画像と、前記照明光に基づく画像とを作成する画像処理回路をさらに備える請求項５に記載の制御装置。
【請求項７】
前記輝度制御部は、前記被検体を照明する光の光源を制御する光源制御部を含み、
前記光源制御部は、前記光源に前記励起光又は白色の照明光を射出させ、
前記光源に前記励起光を射出させているときには、前記測光部は、前記映像信号のうち、前記蛍光に対応した１色の色別映像信号のみに基づいて前記蛍光の明るさを取得し、
前記光源に前記白色の照明光を射出させているときには、前記測光部は、前記映像信号のうち、全ての色に対応した色別映像信号に基づいて前記被検体の像の明るさを取得する、
請求項１に記載の制御装置。
【請求項８】
請求項１に記載の制御装置と、
前記励起光を射出する光源と、
前記蛍光を撮像する撮像装置と
を備える撮像システム。
【請求項９】
被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得することと、
前記映像信号に含まれる前記蛍光に対応した１色の色別映像信号のみに基づいて前記蛍光の明るさを取得することと、
取得された前記蛍光の明るさに基づいて、前記映像信号に基づき作成される蛍光画像の輝度を調整することと
を含む撮像システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法に関する。
【背景技術】
【０００２】
一般に、内視鏡システムを用いた観察において、白色光を照射して被検体を観察するのみならず、他の光を照射して被検体を観察する観察方法が知られている。例えば、所定の励起光を照射して、そのときに発生する蛍光を観察することで、通常の白色光を用いた観察では得られない情報を得ることができることが知られている。日本国特開２００７−３１３１７１号公報には、反射光画像と自家蛍光画像とを順次取得して、これらの画像を重畳した画像をユーザに提示することができる内視鏡システムについて開示されている。また、日本国特開２００７−３１３１７１号公報には、励起光として近赤外光が用いられることが開示されている。
【発明の概要】
【０００３】
蛍光は反射光等と比較して光強度が低い。このため、反射光等の場合と同様の方法で画像の輝度に係る条件を調整したのでは、蛍光について適切な輝度を有する画像を得られないことがある。
【０００４】
本発明は、適切な輝度の蛍光画像を得ることができる撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法を提供することを目的とする。
【０００５】
本発明の一態様によれば、撮像システムのための制御装置は、被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得するように構成された映像信号取得部と、前記映像信号に含まれる前記蛍光に対応した１色の色別映像信号のみに基づいて前記蛍光の明るさを取得する測光部と、前記測光部で取得された前記蛍光の明るさに基づいて、前記映像信号に基づき作成される蛍光画像の輝度を調整する輝度制御部とを備える。
【０００６】
本発明の一態様によれば、撮像システムは、上記の制御装置と、前記励起光を射出する光源と、前記蛍光を撮像する撮像装置とを備える。
【０００７】
本発明の一態様によれば、撮像システムの制御方法は、被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得することと、前記映像信号に含まれる前記蛍光に対応した１色の色別映像信号のみに基づいて前記蛍光の明るさを取得することと、取得された前記蛍光の明るさに基づいて、前記映像信号に基づき作成される蛍光画像の輝度を調整することとを含む。
【０００８】
本発明によれば、適切な輝度の蛍光画像を得ることができる撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係る撮像システムの構成例の概略を示すブロック図である。
【図２】図２は、通常光観察モードにより得られる画像例の概略を示す模式図である。
【図３】図３は、赤外光観察モードにより得られる画像例の概略を示す模式図である。
【図４】図４は、赤外光観察モードで背景画像を重畳した場合に得られる画像例の概略を示す模式図である。
【図５】図５は、観察モード毎の各種設定の一例の一覧を示す図である。
【図６】図６は、撮像システムの動作の一例を示すフローチャートである。
【図７】図７は、各光源とそれらの出力強度との関係の一例の概略を示す模式図である。
【図８】図８は、硬性鏡に入射する各波長の光の強度の一例の概略を示す模式図である。
【図９】図９は、撮像素子に入射する各波長の光の強度の一例の概略を示す模式図である。
【発明を実施するための形態】
【００１０】
本発明の一実施形態について図面を参照して説明する。本実施形態は、医療用の硬性鏡と撮像装置とを用いて画像を取得する撮像システムに係る。特に、本実施形態に係る撮像システムは、観察対象である被検体に励起光を照射したときに放射される蛍光を撮像するための機能を有する。
【００１１】
〈システム構成〉
本実施形態に係る撮像システム１０の構成例の概略を図１に示す。図１に示すように、撮像システム１０は、撮像システム１０の制御装置として機能するビデオプロセッサ１００と、光源装置２００と、撮像装置３００と、硬性鏡４００と、表示装置５００とを備える。図１においては、破線の矢印は、撮像装置３００で取得されて表示装置５００に表示されるまでの映像信号の流れを示す。一点鎖線の矢印は、後述する画像の明るさを調整する輝度制御に係る制御信号の流れを示す。実線の矢印は、上述の信号以外の信号等の流れを示す。
【００１２】
一般的な光学視管である硬性鏡４００は、撮像装置３００が接続されるように構成されている。撮像装置３００は、撮像素子等を含む撮像部３１０を備える。撮像素子は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等を含む。また、本実施形態では、撮像部３１０に３板方式が採用されているものとする。なお、撮像部３１０に単板方式が採用されてもよい。ただし、単板方式の場合には、同時化処理等の処理が必要となる。撮像部３１０は、撮像素子を用いて撮像素子の撮像面上に形成された被検体の像に係る映像信号を生成する。
【００１３】
硬性鏡４００は、光学系４１０と、照明窓４２０とを備える。光学系４１０は、撮像装置３００の撮像素子の撮像面に被検体の像を結像させる。また、光学系４１０は、近赤外光を遮断するフィルタ４１２を含む。フィルタ４１２の分光特性については、後述する。このフィルタ４１２は、対物光学系の前面に配置されていてもよいし、リレーレンズの中の１つの光学素子として設けられてもよいし、硬性鏡４００の接眼部に設けられてもよい。また、同様のフィルタが、硬性鏡４００ではなく撮像装置３００の撮像部３１０に設けられてもよい。照明窓４２０は、光源装置２００から導かれた照明光を射出する窓である。照明窓４２０から射出される照明光は、撮像部３１０で撮像される被検体を照明する。
【００１４】
光源装置２００は、光源２１０と、光源駆動回路２２０と、光量制御回路２３０とを備える。光源２１０は、例えば複数の光源を有する。すなわち、光源２１０には、近赤外光を射出するＩＲ光源２１１と、赤色光を射出するＲ光源２１２と、緑色光を射出するＧ光源２１３と、青色光を射出するＢ光源２１４とが含まれる。Ｒ光源から射出される赤色光と、Ｇ光源から射出される緑色光と、Ｂ光源から射出される青色光とが合波されることで、白色光が調製される。これらの光源は、例えば半導体レーザ光源又は発光ダイオード等種々の半導体光源で構成され得る。
【００１５】
光源駆動回路２２０は、光源２１０に含まれる各光源を駆動する。光量制御回路２３０は、光源駆動回路２２０の動作を制御する。すなわち、光量制御回路２３０は、光源２１０のオン又はオフ、及び各光源が射出する光の強度等を制御する。光源２１０から射出された光は、ライトガイドファイバで導光されて硬性鏡４００の照明窓４２０まで導かれる。
【００１６】
なお、硬性鏡４００の照明窓４２０まで導かれる光の光量は、光源２１０が射出する光の強度によって調整されてもよいし、その他の方法によって調整されてもよい。例えば、光源２１０とライトガイドファイバの光入射端との間に絞りが設けられ、当該絞りの開口率が調整されることで、硬性鏡４００に導かれる光量が調整されてもよい。また、光源２１０の出力を変更するために、光源２１０に供給される電力は、電流値を変更することで調整されてもよいし、パルス幅変調（ｐｕｌｓｅ  ｗｉｄｔｈ  ｍｏｄｕｌａｔｉｏｎ；ＰＷＭ）制御によって調整されてもよい。
【００１７】
表示装置５００は、例えば液晶ディスプレイといった一般的な表示装置である。表示装置５００は、後述するビデオプロセッサ１００の画像処理回路１２０によって画像処理された映像信号に基づいて、画像を表示する。
【００１８】
ビデオプロセッサ１００は、映像信号取得回路１１０と、画像処理回路１２０と、輝度調整回路１３０と、制御回路１４０と、記憶装置１５０と、入力装置１６０とを備える。映像信号取得回路１１０は、撮像装置３００から、撮像部３１０で生成された映像信号を取得する。映像信号取得回路１１０は、取得した映像信号を画像処理回路１２０へと伝達する。このように、例えば映像信号取得回路１１０は、蛍光を撮像した映像信号を取得するように構成された映像信号取得部として機能する。
【００１９】
画像処理回路１２０は、映像信号取得回路１１０から取得した映像信号に対して各種画像処理を施し、画像処理後の映像信号を表示装置５００へと出力する。画像処理回路１２０で行われる処理には、前段処理１２２と、検波処理１２４と、オートゲインコントロール（ＡＧＣ）１２６と、後段処理１２８とが含まれる。
【００２０】
前段処理１２２では、映像信号取得回路１１０から取得した映像信号に対して、色処理、フィルタリングによるノイズの低減、ゲイン調整等の処理が行われる。
【００２１】
検波処理１２４では、前段処理１２２の後の映像信号について、色毎に所定の係数である検波パラメータが乗算される。検波パラメータは、観察モードの設定等に応じて変更される。例えば、後述するように、観察モードが通常光観察（ｗｈｉｔｅ  ｌｉｇｈｔ  ｉｍａｇｉｎｇ；ＷＬＩ）モードの場合には、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の各色の映像信号の比は、Ｒ：Ｇ：Ｂ＝０．４５：０．４５：０．１０に設定される。また、赤外光観察（ｉｎｆｒａｒｅｄ  ｉｍａｇｉｎｇ；ＩＲＩ）モードの場合には、各色の映像信号の比は、Ｒ：Ｇ：Ｂ＝１：０：０に設定される。また、赤外光観察モードで背景画像も取得する場合には、各色の映像信号の比は、Ｒ：Ｇ：Ｂ＝０．８：０．２：０．０に設定される。さらに、検波処理１２４では、所定のゲインが加えられてもよい。検波処理後の映像信号は、後述の輝度調整回路１３０へと伝達される。
【００２２】
ＡＧＣ１２６では、検波処理１２４後の映像信号について、各色の信号強度が適切な範囲内となり画像の明るさが適切なものとなるように、映像信号に対するゲインの調整が行われる。このゲイン調整は、輝度調整回路１３０の制御下で行われる。
【００２３】
後段処理１２８では、ＡＧＣ１２６後の映像信号を用いて、表示装置５００に表示させる画像を生成するための各種画像処理が行われる。後段処理１２８後の映像信号は、表示装置５００へと伝達される。
【００２４】
輝度調整回路１３０は、画像処理回路１２０で処理される映像信号が表す画像が適切な輝度を有するものとなるように、撮像システム１０の各種動作の調整を行う。輝度調整回路１３０は、測光部１３１と、輝度制御部１３２とを含む。測光部１３１は、検波処理１２４後の映像信号を取得する。測光部１３１は、取得した映像信号に基づいて、映像信号が表す画像の輝度を算出する。測光部１３１は、算出結果を輝度制御部１３２へと伝達する。
【００２５】
輝度制御部１３２は、測光部１３１から取得した画像の輝度の情報に基づいて、各種設定を変更させる。輝度制御部１３２は、光源制御部１３４と、ゲイン制御部１３５と、露出制御部１３６とを含む。
【００２６】
光源制御部１３４は、画像の明るさが適当なものとなるように、光源装置２００の光源２１０の出力を調整する。光源制御部１３４は、決定した光源２１０の出力に係る情報を、光源装置２００の光量制御回路２３０へと伝達する。光量制御回路２３０は、後述する制御回路１４０から受け取った情報と光源制御部１３４から受け取った出力に係る情報とに基づいて、光源２１０の動作を制御する。
【００２７】
ゲイン制御部１３５は、画像の輝度が適当なものとなるように、画像処理回路１２０で行われる画像処理のパラメータの１つであるＡＧＣ１２６のゲインの設定を決定する。ゲイン制御部１３５は、決定したゲイン設定を画像処理回路１２０へと伝達する。画像処理回路１２０は、ゲイン制御部１３５から取得したゲイン設定に基づいて、ＡＧＣ１２６の処理を行う。
【００２８】
露出制御部１３６は、画像の明るさが適当なものとなるように、撮像装置３００の撮像部３１０の露出設定を決定する。露出制御部１３６は、決定した露出設定を撮像部３１０へと伝達する。撮像部３１０は、露出制御部１３６から取得した露出設定に基づいて、撮像動作を行う。例えば、撮像部３１０による露光時間は、この露出設定に基づく。
【００２９】
制御回路１４０は、ビデオプロセッサ１００の各部の動作を制御する。制御回路１４０は、例えば画像処理回路１２０及び輝度調整回路１３０と接続しており、画像処理回路１２０及び輝度調整回路１３０の動作について指令を出す。また、制御回路１４０は、光源装置２００の光量制御回路２３０と接続しており、光量制御回路２３０に必要な情報を送信する。例えば、制御回路１４０は、観察モードが通常光観察モードであるのか赤外光観察モードであるのかといった情報や、光源２１０をオンにするのかオフにするのかといった情報を光量制御回路２３０へと送信する。
【００３０】
記憶装置１５０は、例えば半導体メモリやハードディスク等の記憶装置を含む。記憶装置１５０は、制御回路１４０に接続されている。また、記憶装置１５０は、画像処理回路１２０又は輝度調整回路１３０等と接続されていてもよい。記憶装置１５０には、各部の動作に必要なプログラムや設定値等が記録されている。
【００３１】
入力装置１６０は、例えばスイッチ、キーボード、タッチパネル等の入力装置を含む。制御回路１４０は、入力装置１６０を介して、ユーザからの指示を受け取ることができる。
【００３２】
画像処理回路１２０、輝度調整回路１３０及び制御回路１４０は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、又はＦｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）等の集積回路等を含む。画像処理回路１２０、輝度調整回路１３０及び制御回路１４０は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、画像処理回路１２０、輝度調整回路１３０及び制御回路１４０のうち２つ以上が１つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば記憶装置１５０や集積回路内の記録領域に記録されたプログラムに従って行われる。また、光源装置２００の光量制御回路２３０も、同様に集積回路等を含む。
【００３３】
〈システムの動作〉
本実施形態に係る撮像システム１０の動作について説明する。撮像システム１０は、２つの観察モードを有する。すなわち、被検体に白色光を照射してその反射光を撮像装置３００で撮像する通常光観察モードと、被検体に近赤外の励起光を照射して当該励起光によって発生した赤外の蛍光を撮像装置３００で撮像する赤外光観察モードとが用意されている。図２に通常光観察モードで取得される表示装置５００に表示される画像の模式図を示す。通常光観察モードでは、被検体の外観的構造等が観察される。
【００３４】
一方、赤外光観察モードでは、例えば病変や粘膜深部の血管等、特定の物体が観察される。さらに、赤外光観察モードには、赤外の蛍光のみを表示装置５００に表示する第１の表示モードと、赤外の蛍光に加えて可視光領域の背景画像を重畳させて表示装置５００に表示する第２の表示モードとが用意されている。図３に赤外光観察モードで取得され、第１の表示モードで表示される画像の模式図を示す。図３において、網掛けで示されている部分は蛍光が認められる部分を模式的に示す。また、図４に赤外光観察モードで取得され、第２の表示モードで表示される画像の模式図を示す。第２の表示モードでは、背景について通常光観察モード程の解像度は得られないが、背景に対して蛍光が発せられている位置が確認され得る。
【００３５】
一般に、病変部の観察は次のように行われる。初めに通常光観察モードで観察が行われる。病変等がありそうな場所の観察においては、通常光観察モードから赤外光観察モードへと切り替えられて病変等の確認が行われる。その後、赤外光観察モードから通常光観察モードへと切り換えられて、良好な視界が得られる通常光観察モードにて病変部等の切除等の処置が行われる。
【００３６】
撮像システム１０では、観察モード毎に、光源２１０の出力や、画像処理回路における各種パラメータ等の基本設定が異なる。各設定の一例を図５に示す。図５は、通常光観察モードと、赤外光観察モード（第１の表示モード）と、赤外光観察モード（第２の表示モード）とのそれぞれについて、光源２１０の設定、検波処理１２４における検波パラメータの設定、輝度制御部１３２によって行われる輝度制御の設定、及び後段処理１２８における表示画像の作成の設定の一例を示す。
【００３７】
本実施形態に係る撮像システム１０の動作について、図６に示すフローチャートを参照して説明する。
【００３８】
ステップＳ１において、ビデオプロセッサ１００は、観察モード及び表示モードの設定を行う。すなわち、制御回路１４０は、入力装置１６０からユーザが選択した観察モードの情報を取得する。制御回路１４０は、取得した情報に基づいて、各種設定値を各モードに対応した値に設定する。
【００３９】
ステップＳ２において、ビデオプロセッサ１００は、光源２１０の設定を行う。すなわち、制御回路１４０は、モード設定に基づいて、光源装置２００の光量制御回路２３０に、光源の設定に係る情報を出力する。例えば図５に示すように、通常光観察モードのときは、ＩＲ光源２１１の出力はオフとされ、Ｒ光源２１２、Ｇ光源２１３及びＢ光源２１４の出力はオンとされ、これら光源の出力は同程度とされる。その結果、射出されるＲ光（赤色光）の強度とＧ光（緑色光）の強度とＢ光（青色光）の強度とがほぼ等しくなり、照明光は白色光となる。
【００４０】
また、赤外光観察モードのときには、近赤外励起光を射出するＩＲ光源２１１の出力は強くされ、Ｇ光源２１３及びＢ光源２１４の出力は弱くされる。また、Ｒ光源２１２の出力はオフとされる。このときの各光源とそれらの出力強度との関係の模式図を図７に示す。
【００４１】
通常光観察モードのとき、白色光が被検体に照射される。その反射光が硬性鏡４００の光学系４１０を介して、撮像装置３００の撮像部３１０によって撮像される。すなわち、撮像装置３００によって、被検体の色に応じた各色の輝度情報が含まれる映像信号が作成される。
【００４２】
一方、赤外光観察モードのとき、強い近赤外光、並びに弱いＢ光及びＧ光が被検体に照射される。このとき、被検体の色に応じたＢ光、Ｇ光及びＩＲ光（近赤外光）の反射光が硬性鏡４００の光学系４１０に入射する。また、ＩＲ光によって励起されることで生じた近赤外光よりも長波長の赤外色の蛍光が硬性鏡４００の光学系４１０に入射する。硬性鏡４００に入射する各波長の光の強度の概略を図８に示す。照明光において近赤外励起光の強度は、Ｂ光又はＧ光の強度よりも高いので、硬性鏡４００の光学系４１０に入射する近赤外励起光の反射光は、Ｂ光又はＧ光の反射光よりも強い。また、照明光における近赤外励起光の強度はＢ光又はＧ光の強度よりも高いものの、赤外の蛍光の強度は、Ｂ光及びＧ光の反射光の強度よりも低い。硬性鏡の光学系４１０に含まれるフィルタ４１２の透過特性の概略を図８に破線で示す。このように、フィルタ４１２は、Ｂ光、Ｇ光、Ｒ光及び赤外光を透過するが、励起光の反射光である近赤外光を遮断する。
【００４３】
フィルタ４１２を通過して、撮像装置３００の撮像部３１０に含まれる撮像素子に入射する各波長の光の強度の概略を図９に示す。図９に示すように、近赤外光は、フィルタ４１２によって遮断されるため、撮像素子へは入射しない。その結果、比較的強度が高いＢ光及びＧ光と、比較的強度が低い赤外の蛍光が撮像素子へ入射する。
【００４４】
図９には、撮像部３１０の青色の光を感知する撮像素子（Ｂ感度素子）に係る波長と感度との関係を点線で模式的に示す。このように、Ｂ光の画像は、Ｂ感度素子によって取得される。撮像部３１０の緑色の光を感知する撮像素子（Ｇ感度素子）に係る波長と感度との関係を一点鎖線で模式的に示す。このように、Ｇ光の画像は、Ｇ感度素子によって取得される。撮像部３１０の赤色の光を感知する撮像素子（Ｒ感度素子）に係る波長と感度との関係を破線で模式的に示す。このように、赤外の蛍光の画像は、Ｒ感度素子によって取得される。なお、Ｒ感度素子の赤外光に対する感度は、Ｒ光などに対する感度と比較してそれほど高くない。したがって、赤外の蛍光は、Ｂ光又はＧ光と比較して、捉えられにくい。以上のように、撮像装置３００によって、被検体の色及び蛍光物質の量に応じた各色の輝度情報が含まれる映像信号が作成される。
【００４５】
ステップＳ３において、ビデオプロセッサ１００は、映像信号を取得する。すなわち、映像信号取得回路１１０は、撮像装置３００の撮像部３１０から、撮像部３１０が生成した映像信号を取得する。この映像信号は、画像処理回路１２０へと伝達される。映像信号は、前段処理１２２において色調整、ノイズの低減、ゲインの調整等の処理が行われる。なお、前段処理１２２の後の映像信号には、Ｒ光に係るＲ画像信号と、Ｇ光に係るＧ画像信号と、Ｂ光に係るＢ画像信号とが含まれる。Ｒ画像信号、Ｇ画像信号及びＢ画像信号など色毎に係る映像信号を色別映像信号と称することにする。前段処理１２２がされた後、検波処理１２４が行われる。
【００４６】
上述のとおり、検波処理１２４で各色の映像信号に乗算される検波パラメータは、観察モードによって異なる。各モードにおける検波パラメータの一例を図５に示す。検波処理１２４により、色毎に検波パラメータが乗算され、適当なゲインがかけられた映像信号は、輝度調整回路１３０の測光部１３１へと伝達される。
【００４７】
ステップＳ４において、ビデオプロセッサ１００は、モードに応じた測光処理を行う。すなわち、輝度調整回路１３０の測光部１３１は、画像処理回路１２０から検波処理後の映像信号を受け取り、この映像信号に基づいて測光処理を行う。例えば通常光観察モードでは、検波処理１２４で検波されたＲ画像信号、Ｇ画像信号及びＢ画像信号の輝度情報が含まれる映像信号が測光処理に用いられる。一方、赤外光観察モードでは、例えば検波処理１２４で検波されたＲ画像信号の輝度情報のみが含まれる映像信号、すなわち色別映像信号が測光処理に用いられる。なお、赤外光観察モードの第２の表示モードでは、検波パラメータが赤色は０．８、緑色は０．２となっているが、測光処理には、Ｒ画像信号及びＧ画像信号の輝度情報が含まれる映像信号が用いられてもよいし、Ｒ画像信号の輝度情報のみが用いられてもよい。
【００４８】
ステップＳ５において、ビデオプロセッサ１００は、測光処理の結果に基づいて、輝度制御を行う。すなわち、輝度調整回路１３０の輝度制御部１３２は、映像信号によって表される画像の輝度が適切になるように、各種パラメータを調整する。例えば、輝度制御部１３２の光源制御部１３４は、光源装置２００の光源２１０の出力を調整する。また、輝度制御部１３２のゲイン制御部１３５は、画像処理回路１２０で行われるＡＧＣ１２６のゲインを調整する。また、輝度制御部１３２の露出制御部１３６は、撮像装置３００の撮像部３１０における露光を調整する。
【００４９】
例えば、通常光観察モードでは、次のような設定がなされる。すなわち、撮像部３１０における露光は、１フィールド毎に画像が作成されるように設定される。さらに、電子シャッタによって１フィールド内で露光時間を制限することで、撮像により得られる画像が明るくなり過ぎないように調整される。また、ＡＧＣ１２６のゲインは、輝度に応じて調整される。また、光源２１０の出力も輝度に応じて調整される。
【００５０】
一方、赤外光観察モードでは、蛍光の輝度は低いため、例えば次のような設定がなされる。すなわち、光源２１０のＩＲ光源２１１の出力は、最大に設定される。第２の表示モードが用いられるために背景光も取得する場合には、光源２１０のＧ光源２１３及びＢ光源２１４の出力は、背景の輝度に応じて調整される。また、ＡＧＣ１２６のゲインは、輝度に応じて調整される。撮像部３１０における露光は、１乃至６フィールド毎に画像が作成されるものとし、何フィールドで１つの画像が作成されるかは、輝度に応じて調整されるものとする。複数のフィールドを用いて多重露光することで、画像処理回路１２０で行われる画像処理のゲインを低く抑えることができる。その結果、最終的に表示される画像のノイズを低減させることができる。
【００５１】
なおゲインについて特記すると、例えば、前段処理１２２では最大４倍程度のゲインをかけることができ、検波処理１２４では最大８倍程度のゲインをかけることができ、ＡＧＣ１２６では最大８倍程度のゲインをかけることができ、合計で最大数百倍程度のゲインをかけることができる。このような高いゲインによって、輝度が低い赤外光観察モードでも明るい観察を行うことができる。
【００５２】
ステップＳ６において、ビデオプロセッサ１００は、撮像装置３００で取得された映像信号に対して、輝度制御に応じた画像処理を行い、画像処理後の画像を表示装置５００に表示させる。すなわち、ビデオプロセッサ１００の画像処理回路１２０は、輝度制御部１３２の制御下で行われるＡＧＣ１２６を含む画像処理を行う。画像処理回路１２０は、画像処理後の映像信号を表示装置５００へと出力し、表示装置５００に画像を表示させる。
【００５３】
画像処理回路１２０は、例えば通常光観察モードでは、Ｒ画像信号と、Ｇ画像信号と、Ｂ画像信号とを合成し、表示装置５００に表示させるカラー画像を作成する。ここで作成される画像は、硬性鏡４００を介して肉眼で被検体を観察したときに近い画像となる。
【００５４】
一方、赤外光観察モードでは、撮像部３１０でＲ画像信号として取得される画像に基づいて、表示装置５００に表示させる蛍光の強度を表す画像を作成する。ここで、表示装置５００で表示する画像の映像信号では、撮像部３１０で得られたＲ画像信号を、その輝度に応じた輝度のＧ画像信号とＢ画像信号とに変換する。すなわち、表示装置５００に表示される画像は、Ｒ画像信号の輝度、すなわち、被検体で発生する蛍光の強度に応じた、Ｇ画像信号とＢ画像信号とを含む画像であり、蛍光強度に応じた輝度を有するシアン色の画像となる。これは人間の目の感度（比視感度）のピークが緑色域に属することを考慮し、蛍光観察において注目すべき蛍光を赤色ではなく緑色に近しい色で表示させることにより蛍光箇所の視認性を向上させることができるためである。
【００５５】
また、赤外光観察モードにおける背景画像では、撮像部３１０で得られたＧ画像信号に基づいて、表示装置５００に表示させる背景の明るさを表す画像が作成される。ここで、表示装置５００で表示する画像の映像信号では、撮像部３１０で得られたＧ画像信号を、その輝度に応じた輝度のＲ画像信号に変換する。すなわち、表示装置５００に表示される画像は、撮像部３１０で得られたＧ画像信号の輝度、すなわち、被検体の明暗に応じた、Ｒ画像信号を含む画像であり、被検体の明暗に応じた輝度を有する赤色の画像となる。ここでは、赤色として取得された蛍光をシアン色に変換し、緑色として取得された背景を赤色に変換しているのは、一般に体内を観察した場合、背景は赤色であることが多いためである。すなわち、通常光観察モードで表示装置５００に表示される画像と赤外光観察モードで表示装置５００に表示される画像の背景画像との差異を小さくすることで、違和感が小さくなるように、表示画像の色が調整されている。
【００５６】
ステップＳ７において、ビデオプロセッサ１００は、観察モードが変更されたか否かを判定する。観察モードが変更されたとき、処理はステップＳ１に戻り、ステップＳ１乃至ステップＳ７の処理を繰り返す。一方、観察モードが変更されていないとき、処理はステップＳ８に進む。
【００５７】
ステップＳ８において、ビデオプロセッサ１００は、本処理を終了するか否かを判定する。終了しないとき、処理はステップＳ３に戻り、ステップＳ３乃至ステップＳ８の処理を繰り返す。一方、処理を終了すると判定されたとき、本処理は終了する。ステップＳ１乃至ステップＳ８の処理は、撮像部３１０の撮像に係るフィールドのタイミングに合わせてフィールド毎に繰り返される。
【００５８】
〈本システムの利点〉
本実施形態によれば、赤外光観察モードでは、検波処理１２４によって、Ｒ画像信号のみに基づく映像信号、又はＲ画像信号に重みがつけられた映像信号を用いて測光処理が行われる。したがって、発光強度が低い蛍光の画像を示すＲ画像信号に応じた輝度制御が行われ得る。その結果、本実施形態に係る撮像システム１０によれば、適切な輝度を有する蛍光画像が得られる。測光処理にＧ画像信号又はＢ画像信号が用いられると、Ｒ画像信号に係る輝度が低いにも関わらず、Ｇ画像信号又はＢ画像信号に係る高い輝度に由来して、Ｒ画像信号に係る輝度が低くなる方向に輝度制御が行われてしまうことがある。これに対して、本実施形態によれば、Ｒ画像信号に係る輝度が低くなる方向に不適当に輝度制御が行われてしまうことが回避される。
【００５９】
〈変形例〉
上述の実施形態の変形例についていくつか説明する。
【００６０】
上述の実施形態では、観察モードとして、通常光観察モードと赤外光観察モードとが用意された撮像システム１０について説明した。しかしながらこれに限らない。上述の技術は、赤外光観察モードのみを有する撮像システムにも適用され得る。
【００６１】
また、上述の実施形態では、励起光を近赤外光とし、蛍光を赤外光としたが、これに限らない。励起光及び蛍光としてどのような波長が用いられてもよい。例えば、上述の技術は、生体に内在している蛍光物質を励起して得られる自家蛍光観察に適用されてもよい。何れの場合でも、検波処理１２４では蛍光に対応した映像信号が検波され、検波された映像信号に基づいて蛍光の明るさを取得する測光処理がなされる。
【００６２】
また、上述の実施形態では、硬性鏡４００と撮像装置３００とを用いた撮像システム１０について例示したが、これに限らない。上述の技術は、例えば、光ファイバで光学像を伝達する軟性鏡にも適用され得る。さらに、上述の技術は、例えば、先端部に撮像素子を備えた電子内視鏡にも適用され得る。電子内視鏡は、軟性鏡であっても硬性鏡であってもよい。さらに、内視鏡等に限らず、上述の技術は、例えば蛍光顕微鏡等、他の機器にも適用され得る。
【００６３】
また、光源装置２００の光源２１０は、色毎に光源が異なる複数のレーザ光源や発光ダイオードなどが設けられている場合を例示したが、これに限らない。例えば、青色の光源と蛍光物質とが設けられており、この光源から射出される青色光と、この青色光を励起光として蛍光物質から射出された蛍光とが合成されることで白色光が射出されるような白色半導体光源が用いられてもよい。また、光源として、例えばキセノンランプ又はハロゲンランプ等のランプが用いられてもよい。さらに、必要に応じて上述の実施形態では示さなかった種々の光源が設けられてもよい。
【００６４】
また、上述の実施形態では、全ての光源が１つの光源装置２００に設けられている場合を例示したがこれに限らない。例えば、近赤外光源と白色光源又は白色光を生成する複数の光源とは、それぞれ別個の光源装置に設けられていてもよい。また、白色光源等と近赤外光源とのうち、何れか一方又は両方が、ビデオプロセッサ１００と一体として設けられていてもよい。
【００６５】
また、上述の実施形態では、撮像部３１０に含まれる撮像素子は、ＲＧＢの３色の映像信号を出力するものとした。しかしながらこれに限らず、例えば補色フィルタが設けられた撮像装置が用いられてもよい。
【図１】
2017073302.tif 000003
【図２】
2017073302.tif 000004
【図３】
2017073302.tif 000005
【図４】
2017073302.tif 000006
【図５】
2017073302.tif 000007
【図６】
2017073302.tif 000008
【図７】
2017073302.tif 000009
【図８】
2017073302.tif 000010
【図９】
2017073302.tif 000011
【手続補正書】
【提出日】平成29年2月14日(2017.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体に対して近赤外光に基づく励起光のみを射出する第１表示モードと、前記励起光に加えて緑色光、青色光を射出する第２表示モードとを切り替え可能に構成された光源装置と、
前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、
前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、
前記第１表示モードと前記第２表示モードとで前記映像信号に対して色毎に検波パラメータを異ならせて乗算する検波処理部と、
前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、
前記測光部で算出された輝度に基づいて前記撮像装置における露光設定を調整する輝度制御部と、
を備えることを特徴とする撮像システム。
【請求項２】
前記輝度制御部は、前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記測光部は、前記第２表示モードにおいて前記赤色画像信号に加えて緑色画像信号に基づいて輝度を算出し、
前記輝度制御部は、前記光源装置に対して前記励起光の出力を最大に設定するとともに前記測光部で算出された輝度に基づいて前記緑色光及び前記青色光の出力設定を行う
ことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記光源装置は通常光観察モードとして前記緑色光及び前記青色光に加えて赤色光を射出し、
前記検波処理部は、前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号を所定比率で設定して乗算し、
前記測光部は、検波処理部から出力された映像信号に基づいて輝度を算出し、
前記輝度制御部は、前記測光部で算出された輝度に基づいて１フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整する
ことを特徴とする請求項１に記載の撮像システム。
【請求項５】
前記光源装置は、前記第２表示モードにおいて前記励起光の強度を前記緑色光及び前記青色光の強度より高くして射出することを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記検波処理部から出力された映像信号に対してゲイン調整の設定を行うことを特徴とする請求項１に記載の撮像システム。
【請求項７】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記光源装置に対して出力を設定することを特徴とする請求項１に記載の撮像システム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、撮像システムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本発明は、適切な輝度の蛍光画像を得ることができる撮像システムを提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様によれば、撮像システムは、被検体に対して近赤外光に基づく励起光のみを射出する第１表示モードと、前記励起光に加えて緑色光、青色光を射出する第２表示モードとを切り替え可能に構成された光源装置と、前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、前記第１表示モードと前記第２表示モードとで前記映像信号に対して色毎に検波パラメータを異ならせて乗算する検波処理部と、前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、前記測光部で算出された輝度に基づいて前記撮像装置における露光設定を調整する輝度制御部と、を備えることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明によれば、適切な輝度の蛍光画像を得ることができる撮像システムを提供できる。
【手続補正書】
【提出日】平成29年4月14日(2017.4.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体に対して近赤外光に基づく励起光、緑色光及び青色光を射出可能に構成された光源装置と、
前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、
前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、
前記映像信号に対して色毎に検波パラメータを異ならせて乗算する検波処理部と、
前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、
前記測光部で算出された輝度に基づいて前記撮像装置における露光設定を調整する輝度制御部と、
を備えることを特徴とする撮像システム。
【請求項２】
前記輝度制御部は、前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記光源装置は通常光観察モードとして前記緑色光及び前記青色光に加えて赤色光を射出し、
前記検波処理部は、前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号を所定比率で設定して乗算し、
前記測光部は、検波処理部から出力された映像信号に基づいて輝度を算出し、
前記輝度制御部は、前記測光部で算出された輝度に基づいて１フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整する
ことを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記光源装置は、前記励起光の強度を前記緑色光及び前記青色光の強度より高くして射出することを特徴とする請求項１に記載の撮像システム。
【請求項５】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記検波処理部から出力された映像信号に対してゲイン調整の設定を行うことを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記光源装置に対して出力を設定することを特徴とする請求項１に記載の撮像システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様によれば、撮像システムは、被検体に対して近赤外光に基づく励起光、緑色光及び青色光を射出可能に構成された光源装置と、前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、前記映像信号に対して色毎に検波パラメータを異ならせて乗算する検波処理部と、前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、前記測光部で算出された輝度に基づいて前記撮像装置における露光設定を調整する輝度制御部と、を備えることを特徴とする。
【手続補正書】
【提出日】平成29年6月29日(2017.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
通常光観察モードとして被検体に対して緑色光、青色光及び赤色光を射出し、赤外光観察モードとして前記被検体に対して前記緑色光、前記青色光及び近赤外光に基づく励起光を射出し、当該励起光の出力強度は当該緑色光及び当該青色光の出力強度より高くなるように構成された光源装置と、
前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、
前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、
前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号に所定比率の検波パラメータを乗算し、前記赤外光観察モードにおいて撮像した映像信号に対して色毎に前記通常光観察モードにおける前記検波パラメータとは異なるパラメータを乗算する検波処理部と、
前記通常光観察モードにおいて前記検波処理部から出力された赤色画像信号、緑色画像信号及び青色画像信号に基づいて輝度を算出し、前記赤外光観察モードにおいて前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、
前記通常光観察モードにおいて前記測光部で算出された輝度に基づいて１フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整し、前記赤外光観察モードにおいて前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行う輝度制御部と、
を備えることを特徴とする撮像システム。
【請求項２】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記検波処理部から出力された映像信号に対してゲイン調整の設定を行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記輝度制御部は、前記測光部で算出された輝度に基づいて前記光源装置に対して出力を設定することを特徴とする請求項１に記載の撮像システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様によれば、撮像システムは、通常光観察モードとして被検体に対して緑色光、青色光及び赤色光を射出し、赤外光観察モードとして前記被検体に対して前記緑色光、前記青色光及び近赤外光に基づく励起光を射出し、当該励起光の出力強度は当該緑色光及び当該青色光の出力強度より高くなるように構成された光源装置と、前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号に所定比率の検波パラメータを乗算し、前記赤外光観察モードにおいて撮像した映像信号に対して色毎に前記通常光観察モードにおける前記検波パラメータとは異なるパラメータを乗算する検波処理部と、前記通常光観察モードにおいて前記検波処理部から出力された赤色画像信号、緑色画像信号及び青色画像信号に基づいて輝度を算出し、前記赤外光観察モードにおいて前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、前記通常光観察モードにおいて前記測光部で算出された輝度に基づいて１フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整し、前記赤外光観察モードにおいて前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行う輝度制御部と、を備えることを特徴とする。
【国際調査報告】
2017073302.tif 000012
2017073302.tif 000013
2017073302.tif 000014
2017073302.tif 000015