(57)【要約】【課題】本発明の目的は、蛍光画像の撮像方法を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。【解決手段】本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、３つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の１つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の２つのモノクロセンサーが受信した光信号の強度を計算する。２種類の光信号の強度差に基づいて白色光源及び／又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によれば、撮像前にコントラスト比を自動調整できるため、使用上便利である。また、本発明は、さらにそれに対応する画像処理システム、及び蛍光内視鏡照明撮像装置を提供する。【選択図】図１
2021517847.tif 000002
【特許請求の範囲】
【請求項１】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ８に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ６：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ７：近赤外蛍光映像信号を出力する。
Ｓ８：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻り、ＮＯの場合、工程Ｓ９に進む。
Ｓ９：前記白色光源の強度を減少する。
Ｓ１０：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ１１に進む。
Ｓ１１：前記白色光源の強度を工程Ｓ９で減少する前の値に回復する。
Ｓ１２：ＲＧＢカラー映像信号を出力する。
Ｓ１３：工程Ｓ７で出力した近赤外蛍光映像信号及び工程Ｓ１２で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項２】
前記工程Ｓ１と工程Ｓ２の間に下記工程をさらに有することを特徴とする、請求項１に記載の蛍光画像の撮像方法。
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してからその強度が最大値になるかどうかを判断する。 
【請求項３】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ７に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ６に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ６：近赤外蛍光映像信号を出力する。
Ｓ７：ａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ８に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ８：ＲＧＢカラー映像信号を出力する。
Ｓ９：工程Ｓ６で出力した近赤外蛍光映像信号及び工程Ｓ８で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項４】
前記工程Ｓ５において、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項３に記載の蛍光画像の撮像方法。
Ｓ５１：対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ５２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項５】
前記工程Ｓ７は、下記工程を有することを特徴とする、請求項３に記載の蛍光画像の撮像方法。
Ｓ７１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ７２に進む。
Ｓ７２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ７３に進む。
Ｓ７３：前記白色光源の強度を、工程Ｓ７１で減少して工程Ｓ７２に進む前の値に回復する。
Ｓ７４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【請求項６】
前記工程Ｓ１と工程Ｓ２の間に下記工程をさらに有することを特徴とする、請求項３に記載の蛍光画像の撮像方法。
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。 
【請求項７】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。ＹＥＳの場合、工程Ｓ３に進み、ＮＯの場合、工程Ｓ６に進む。
Ｓ３：受信した近赤外蛍光信号が連続的なＮ個のピクセルであるかどうかを判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ４：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進む。ＮＯの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程Ｓ２に戻る。
Ｓ５：近赤外蛍光映像信号を出力する。
Ｓ６：工程Ｓ２において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ７：ＲＧＢカラー映像信号を出力する。
Ｓ８：工程Ｓ５で出力した近赤外蛍光映像信号及び工程Ｓ７で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項８】
前記工程Ｓ２は、下記工程を有することを特徴とする、請求項７に記載の蛍光画像の撮像方法。
Ｓ２１：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ２２：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２１で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。ＮＯの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
【請求項９】
前記工程Ｓ４において、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項８に記載の蛍光画像の撮像方法。
Ｓ４１：特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ４２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項１０】
前記工程Ｓ６は、下記工程に有することを特徴とする、請求項８又は９に記載の蛍光画像の撮像方法。
Ｓ６１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ６２に進む。
Ｓ６２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ６３に進む。
Ｓ６３：前記白色光源の強度を工程Ｓ６１で減少して工程Ｓ６２に進む前の値に回復する。
Ｓ６４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
Ｓ６５：赤色光、緑色光、青色光センサーで出力した光信号に基づいて、ＲＧＢカラー映像信号を出力する。
【請求項１１】
前記工程Ｓ４において、前記励起光源の強度調整は、励起光源の強度を最大値に調整することを特徴とする、請求項７に記載の蛍光画像の撮像方法。
【請求項１２】
パルス発生器及び画像処理器を有する画像処理システムであって、
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有し、
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させ、
赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像し、
赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像し、
前記白色光の反射光は、白色光源を観察エリアに照射して反射したものであり、
前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものであり、
前記信号処理部は、近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号を光電変換させ、その強度値を加重平均し、第３種類の光信号の強度値に変換し、ａ０とし、
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値ａ１及びａ０を比較し、
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行し、
ａ１＞ａ０の場合、
連続的なＮ個のピクセルがａ１＞ａ０を満足する場合、第１命令を前記パルス発生器に発信し、前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他２つのセンサーが光信号を出力しないように制御し、近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値ａ１′とａ０の差がデフォルトの最適値に達成又は接近する場合、第２命令を発信し、デフォルトの最適値に達成又は接近しない場合、第３命令を発信して白色光源の強度を減少し、
連続的なＮ個のピクセルがａ１＞ａ０を満足しない場合、第３命令を発信して白色光源の強度を減少し、又はａ１′とａ０の差がデフォルトの最適値に達成又は接近しない場合、第４命令を発信して白色光源の強度を増大又は減少し、
ａ１＜ａ０の場合、第３命令を発信して白色光源の強度を減少し、
ａ１＝ａ０の場合、第３命令を発信して白色光源の強度を減少し、白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値ａ１１及びａ０を比較し、ａ１１＜ａ０の場合、第５命令を発信し、白色光源の強度をａ１＝ａ０が成立する時の値に回復し、第２命令を前記パルス発生器に発信し、前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で赤色光、緑色光、青色光信号を出力するように制御し、
前記信号出力部は、第２命令を受信した後、近赤外蛍光センサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力することを特徴とする、
画像処理システム。
【請求項１３】
請求項１２に記載の画像処理システムを有することを特徴とする、蛍光内視鏡照明撮像装置。
【請求項１４】
光照射装置、光学採集部、画像採集部、及び画像表示部を更に有し、
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射し、
前記光学採集部は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を画像採集部に伝送、結合させ、
前記画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーを有し、
前記ビームスプリッタープリズム組は、結合された反射した白色光をＲ光、Ｇ光、Ｂ光に分けて、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像し、
結合された近赤外蛍光は、前記ビームスプリッタープリズム組によって前記赤色光センサー、緑色光センサー、青色光センサーのいずれかの１つのセンサーに撮像し、
前記画像表示部は、前記画像処理システムで出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力することを特徴とする、
請求項１３に記載の蛍光内視鏡照明撮像装置。
【請求項１５】
前記光照射装置は、白色光源、励起光源、及び光源制御部を有し、
前記光源制御部は、前記白色光源及び前記励起光源の強度を調整することを特徴とする、
請求項１４に記載の蛍光内視鏡照明撮像装置。
【請求項１６】
前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有し、
前記撮像レンズ群は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を伝送し、
前記光学アダプターは、前記撮像レンズ群によって伝送した反射した白色光及び近赤外蛍光を画像採集部に結合させることを特徴とする、
請求項１４又は１５に記載の蛍光内視鏡照明撮像装置。
【請求項１７】
前記光学アダプター内にフィルタを設けられ、
前記フィルタは、観察エリアが発する励起光を濾過し、反射した白色光及び近赤外蛍光を通ることを特徴とする、
請求項１６に記載の蛍光内視鏡照明撮像装置。
【請求項１８】
前記撮像レンズ群は、内視鏡の一部であることを特徴とする、請求項１６に記載の蛍光内視鏡照明撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡撮像の技術分野に関し、特に画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
分子撮像技術の発展につれて、蛍光内視鏡は、腫瘍細胞、癌病変等の微小分子の活動及び転移等を観察する利点がより明確となる。例えば、近赤外蛍光は、乳癌センチネルリンパ結、甲状腺癌、子宮頸癌、大腸癌等の早期腫瘍センチネルリンパ結の臨床マーカーを探すために用いられる。その原理としては、患者の体内にＩＣＧ（インドシアニングリーン）試薬を注射し、しばらくしてから近赤外励起光及び白色光を患者の検査部位に照射する。励起光が蛍光試薬に照射すると、ＩＣＧと結合した異常の組織分子が励起光エネルギーを吸収して近赤外蛍光を発し、正常の組織で反射した白色光と共に内視鏡撮像システムに受信される。さらに光電信号変換及び画像処理を経て、カラー蛍光合成画像を終端モニターに出力する。画像を分析することで、対応の組織の病変状況を得られる。
【０００３】
対応の組織の病変状況を正確に分析するには、カラー蛍光合成画像の解像度が非常に重要である。カラー蛍光合成画像の解像度を確保するために、カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力しなければならない。
【０００４】
カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力するために、従来手段としては、まず、カラー画像及び蛍光画像をそれぞれ生成し、ソフトウェア処理によって画像の輝度及びコントラスト比を調整し、最適なコントラスト比を有するカラー蛍光画像を出力する。前記手段は、下記工程を有する。
【０００５】
Ｓ１：異なるセンサーを利用し、反射した照明光を受信してカラー画像を得て、且つ蛍光剤への励起光の照射による生成した蛍光を受信して蛍光画像を得る。
【０００６】
Ｓ２：上記カラー画像及び蛍光画像に対して減算又は除算処理を行って、病変部位のみに属する新たな蛍光画像を抽出する。
【０００７】
Ｓ３：カラー画像及び新たな蛍光画像を合成し、輝度及びコントラスト比を最適な状態に調整する。
【０００８】
Ｓ４：調整したカラー蛍光合成画像を出力する。
【０００９】
上記従来手段の欠点としては、画像処理の方法が複雑過ぎて、正確さも高くない。合成画像がフレーム画像を間隔をあけて出力されるため、画像の遅延感がある。なお、前後の２つの画像位置がずれた場合に、蛍光画像の完全性に影響を与える。
【００１０】
よって、カラー蛍光を簡単且つ正確に画像処理を行うことで、最適なコントラスト比に達成又は接近してから出力する技術を求めている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、蛍光画像の撮像方法を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
【００１２】
本発明の別の目的は、画像処理システムを提供する。カラー蛍光画像を生成する前に画像処理を行い、処理方法をより簡単化する。
【００１３】
本発明のさらに他の目的は、蛍光内視鏡照明撮像装置を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
【課題を解決するための手段】
【００１４】
上記問題を解決するために、本発明は、下記技術的な特徴を含む。
【００１５】
本発明の１つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【００１６】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ８に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ６：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ７：近赤外蛍光映像信号を出力する。
Ｓ８：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、工程Ｓ９に進む。
Ｓ９：前記白色光源の強度を減少する。
Ｓ１０：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ１１に進む。
Ｓ１１：前記白色光源の強度を減少前の値に回復する。
Ｓ１２：ＲＧＢカラー映像信号を出力する。
Ｓ１３：工程Ｓ７で出力した近赤外蛍光映像信号及び工程Ｓ１２で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【００１７】
本発明の１つの実施例において、前記工程Ｓ１と工程Ｓ２の間に下記工程をさらに有する。
【００１８】
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【００１９】
本発明の１つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【００２０】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ７に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である、
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ６に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ６：近赤外蛍光映像信号を出力する。
Ｓ７：ａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ８に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ８：ＲＧＢカラー映像信号を出力する。
Ｓ９：工程Ｓ６で出力した近赤外蛍光映像信号及び工程Ｓ８で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【００２１】
本発明の１つの実施例において、前記工程Ｓ５中の近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【００２２】
Ｓ５１：対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ５２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【００２３】
本発明の１つの実施例において、前記工程Ｓ７は、下記工程を有する。
【００２４】
Ｓ７１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ７２に進む、
Ｓ７２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ７３に進む。
Ｓ７３：前記白色光源の強度を減少前の値に回復する。
Ｓ７４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【００２５】
本発明の１つの実施例において、前記工程Ｓ１と工程Ｓ２の間に下記工程をさらに有する。
【００２６】
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【００２７】
本発明の１つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【００２８】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。ＹＥＳの場合、工程Ｓ３に進み、ＮＯの場合、工程Ｓ６に進む。
Ｓ３：受信した近赤外蛍光信号が連続的なＮ個のピクセルであるかどうかを判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ４：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進む。ＮＯの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程Ｓ２に戻る。
Ｓ５：近赤外蛍光映像信号を出力する。
Ｓ６：工程Ｓ２において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ７：ＲＧＢカラー映像信号を出力する。
Ｓ８：工程Ｓ５で出力した近赤外蛍光映像信号及び工程Ｓ７で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【００２９】
本発明の１つの実施例において、前記工程Ｓ２具体的に有する。
【００３０】
Ｓ２１：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ２２：前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２１で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。ＮＯの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
【００３１】
本発明の１つの実施例において、前記工程Ｓ４において近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【００３２】
Ｓ４１：特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ４２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【００３３】
本発明の１つの実施例において、前記工程Ｓ６は、下記工程に有する。
【００３４】
Ｓ６１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ６２に進む。
【００３５】
Ｓ６２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ６３に進む。
Ｓ６３：前記白色光源の強度を減少前の値に回復する。
Ｓ６４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
Ｓ６５：赤色光、緑色光、青色光センサーで出力した光信号に基づいて、ＲＧＢカラー映像信号を出力する。
【００３６】
本発明の１つの実施例において、前記工程Ｓ４において、前記励起光源の強度調整は、励起光源の強度を最大値に調整する。
【００３７】
本発明の１つの実施例において、パルス発生器及び画像処理器を有する画像処理システムを提供する。
【００３８】
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像する。前記白色光の反射光は、白色光源を観察エリアに照射して反射したものである。前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。
前記信号処理部は、近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号を光電変換させ、その強度値を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値ａ１及びａ０を比較する。
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行する。
ａ１＞ａ０の場合、
連続的なＮ個のピクセルがａ１＞ａ０を満足する場合、第１命令を前記パルス発生器に発信する。前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他２つのセンサーが光信号を出力しないように制御する。近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値ａ１′とａ０の差がデフォルトの最適値に達成又は接近する場合、第２命令を発信する。デフォルトの最適値に達成又は接近しない場合、第３命令を発信して白色光源の強度を減少する。
連続的なＮ個のピクセルがａ１＞ａ０を満足しない場合、第３命令を発信して白色光源の強度を減少する。又は、ａ１′とａ０の差がデフォルトの最適値に達成又は接近しない場合、第４命令を発信して白色光源の強度を増大又は減少する。
ａ１＜ａ０の場合、第３命令を発信して白色光源の強度を減少する。
ａ１＝ａ０の場合、第３命令を発信して白色光源の強度を減少する。白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値ａ１１及びａ０を比較し、ａ１１＜ａ０の場合、第５命令を発信して白色光源の強度を減少前の値に回復し、第２命令を前記パルス発生器に発信する。前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
信号出力部は、第２命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
【００３９】
本発明の１つの実施例において、上記画像処理システムを有する蛍光内視鏡照明撮像装置を提供する。
【００４０】
本発明の１つの実施例において、前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、及び画像表示部をさらに有する。
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。
前記光学採集部は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。
前記画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーを有する。前記ビームスプリッタープリズム組は、結合された反射した白色光をＲ光、Ｇ光、Ｂ光に分けて、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。結合された近赤外蛍光は、前記ビームスプリッタープリズム組によって前記赤色光センサー、緑色光センサー、青色光センサーのいずれかの１つのセンサーに撮像する。
前記画像表示部は、前記画像処理システムで出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力する。
【００４１】
本発明の１つの実施例において、前記光照射装置は、白色光源、励起光源、及び光源制御部を有する。前記光源制御部は、前記白色光源及び前記励起光源の強度を調整する。
【００４２】
本発明の１つの実施例において、前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有する。前記撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。前記光学アダプターは、前記撮像レンズ群によって伝送した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。
【００４３】
本発明の１つの実施例において、前記光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、白色光の反射光及び近赤外蛍光を通る。
【００４４】
本発明の１つの実施例において、前記撮像レンズ群は、内視鏡の一部である。
【発明の効果】
【００４５】
上記技術的な特徴によれば、従来技術と比べて、本発明は以下の利点及び効果を有する。
【００４６】
１）本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、３つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の１つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の２つのモノクロセンサーが受信した光信号の強度を計算する。２種類の光信号の強度差に基づいて白色光源及び／又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。
【００４７】
２）さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施例の蛍光画像の撮像方法のフローチャートである。
【図２】本発明の他の実施例の蛍光画像の撮像方法のフローチャートである。
【図３】本発明のさらに他の実施例の蛍光画像の撮像方法のフローチャートである。
【図４】本発明のまたさらに他の実施例の蛍光画像の撮像方法のフローチャートである。
【図５】本発明の実施例の画像処理システムの構造ブロック図である。
【図６】本発明の実施例の蛍光内視鏡照明撮像装置の構造模式図である。
【図７】本発明の実施例の励起光カットフィルタの表面コーティング曲線の模式図である。
【図８】本発明の実施例のビームスプリッタープリズム組の内部光路の模式図である。
【図９】本発明の実施例のビームスプリッタープリズムの分光面コーティング曲線の模式図である。
【発明を実施するための形態】
【００４９】
以下、図面及び実施例を開示しながら、本発明の画像処理システム、蛍光内視鏡照明撮像装置、及び撮像方法を詳しく説明する。下記説明及び請求の範囲によって本発明の利点及び特徴をより明確にする。留意すべきことは、本発明の実施例の目的を容易に明確に説明するために、図面は、いずれも簡略化され、非常に精確な比率で表現するものではない。明細書及び請求の範囲において、特定の名詞によって特定の素子を示すが、製造メーカーによって異なる名詞によって同じ素子を示す場合もある。本明細書及び請求の範囲は、そのような名詞の差異によって素子を区別するのではなく、その素子の機能によって区別する。明細書及び請求の範囲において、「有する」はオープンエンドの用語であるため、「有するがそれらに限定されない」に解釈すべき。また、「連結」又は「接続」等の用語は、すべての直接的又は間接的な電気的又は構造的な接続手段を示す。そのため、の第１装置が第２装置に連結／接続されるとの記載は、前記第１装置が直接的に前記第２装置に電気的又は構造的に接続され、又は他の装置又は接続手段を介して間接的に前記第２装置に電気的又は構造的に接続されることを示す。
【００５０】
図１を参照しながら説明する。本発明の１つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【００５１】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整し、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【００５２】
白色光源は、ＬＥＤ白色光源であってもよく、ＲＧＢ３色のＬＥＤ光源を合成した白色光であってもよい。励起光源は、８０８±１０ｎｍのレーザーであり、観察エリアのＩＣＧ（インドシアニングリーン）を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【００５３】
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【００５４】
前記工程は、本実施例の好ましい実施形態であるが、他の実施形態において、工程Ｓ２０を設けなくてもよい。
【００５５】
Ｓ２：赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数ｒを掛けて青色光信号の強度値に変換し、ａ０とする。
【００５６】
Ｓ３：青色光センサーの各ピクセルが受信した光強度ａ１がａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ８に進む。
ａ１＞ａ０は、青色光センサーが近赤外蛍光信号を受信したことを示す。
【００５７】
Ｓ４：青色光センサーの連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
【００５８】
前記工程の目的は偽蛍光信号を排除することにある。あるピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
【００５９】
Ｓ５：青色光センサーを制御して近赤外蛍光信号を出力し、Ｂ色とマークする。その他２つのセンサーが信号を出力しない。すべてのピクセルを検査した後、蛍光信号の強度の平均値を取って、ａ１′とする。
【００６０】
他の実施例において、近赤外蛍光信号を他の設定色とマークしてもよい。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′と表記してもよい。
【００６１】
Ｓ６：ａ１′とａ０の差がデフォルトの最適値Ｃに達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
【００６２】
最適値Ｃは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。
【００６３】
Ｓ７：Ｂ色の近赤外蛍光映像信号を出力する。
【００６４】
工程Ｓ５において、近赤外蛍光信号を他の設定色とマークしてもよい。その場合、工程Ｓ７において、他の色の近赤外蛍光映像信号を出力する。
【００６５】
Ｓ８：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、白色光源の強度を減少して工程Ｓ２に戻り、ＮＯの場合、工程Ｓ９に進む。
【００６６】
Ｓ９：白色光源の強度を減少する。
【００６７】
具体的には、ａ１がａ０以上である、即ちａ１＝ａ０と判断した場合、その時の白色光源の強度をＡ１とする。白色光源の強度をＡ２に減少する。ａ１＝ａ０は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号を青色光信号に変換した強度値は、青色光センサーが受信した青色光の強度値と等しいことを示す。通常の状況下では、観察エリアが近赤外蛍光信号を発しなく、即ち観察エリアが正常組織エリアであると判断できる。しなしながら、下記状況の可能性がある。青色光センサーが受信した近赤外蛍光信号の強度の平均値は、ちょうど赤色光センサー及び緑色光センサーを変換した後の青色光信号の強度値と等しく、即ち病変エリア及び正常組織エリアが発する光信号強度が等しいである。このような可能性を排除して画像処理の正確度を向上するために、本発明において、下記工程Ｓ１０及びＳ１１を設ける。
【００６８】
Ｓ１０：前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度ａ１１がａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ１１に進む。
【００６９】
Ｓ１１：白色光源の強度を減少前の値、即ちＡ１に回復する。
【００７０】
Ｓ１２：ＲＧＢカラー映像信号を出力する。
【００７１】
具体的には、青色光センサーがＢ光信号を出力し、緑色光センサーがＧ光信号を出力し、赤色光センサーがＲ光信号を出力する。Ｂ光信号、Ｇ光信号、及びＲ光信号に基づいて、ＲＧＢカラー映像信号を出力する。
【００７２】
Ｓ１３：工程Ｓ７で出力した近赤外蛍光映像信号及び工程Ｓ１２で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【００７３】
具体的には、カラー蛍光映像信号を画像表示部に出力して表示する。
【００７４】
図２を参照しながら説明する。本発明の他の実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【００７５】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整すし、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【００７６】
白色光源は、ＬＥＤ白色光源であってもよく、ＲＧＢ３色のＬＥＤ光源を合成した白色光であってもよい。励起光源は、８０８±１０ｎｍのレーザーであり、観察エリアのＩＣＧ（インドシアニングリーン）を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【００７７】
Ｓ２：赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数ｒを掛けて青色光信号の強度値に変換し、ａ０とする。
【００７８】
Ｓ３：青色光センサーの各ピクセルが受信した光強度ａ１がａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ７に進む。
【００７９】
ａ１＞ａ０は、青色光センサーが近赤外蛍光信号を受信したことを示す。
【００８０】
Ｓ４：青色光センサーの連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
【００８１】
前記工程の目的は偽蛍光信号を排除することにある。ピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
【００８２】
Ｓ５：青色光センサーを制御して近赤外蛍光信号を出力し、Ｂ色とマークする。その他２つのセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ６に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
【００８３】
Ｓ６：Ｂ色の近赤外蛍光映像信号を出力する。
【００８４】
Ｓ７：ａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ８に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
【００８５】
Ｓ８：ＲＧＢカラー映像信号を出力する。
【００８６】
Ｓ９：工程Ｓ６で出力した近赤外蛍光映像信号及び工程Ｓ８で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【００８７】
好ましくは、工程Ｓ１と工程Ｓ２の間に下記工程Ｓ２０を有する。
【００８８】
工程Ｓ２０：励起光源がオンになってその強度が最大値になるかどうかを判断する。ＹＥＳの場合、工程Ｓ２に進み、ＮＯの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。他の実施形態において、工程Ｓ２０を設けなくてもよい。
【００８９】
１つの実施形態において、工程Ｓ５において、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【００９０】
Ｓ５１：青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
【００９１】
Ｓ５２：ａ１′とａ０の差がデフォルトの最適値Ｃに達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【００９２】
最適値Ｃは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。当業者は、他の方法によって近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
【００９３】
１つの実施形態において、工程Ｓ７において、ａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断するには、下記工程を有する。
【００９４】
Ｓ７１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、白色光源の強度を減少して工程Ｓ７２に進む。
【００９５】
Ｓ７２：前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度ａ１１がａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ７３に進む。
【００９６】
Ｓ７３：白色光源の強度を減少前の値に回復する。
【００９７】
Ｓ７４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【００９８】
当業者は、他の方法によってａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。ａ１≦ａ０の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
【００９９】
なお、他の実施形態において、上記工程Ｓ５の実施形態及び工程Ｓ７の実施形態を同時に使用できる。工程Ｓ５の前記実施形態を選択して、工程Ｓ７の他の実施形態を使用できる。又は、工程Ｓ７の前記実施形態を使用して、工程Ｓ５の他の実施形態を使用できる。
【０１００】
図３を参照しながら説明する。図３は、本発明のさらに他の実施例であり、下記工程を有する蛍光画像の撮像方法を示す。
【０１０１】
Ｓ１：白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【０１０２】
白色光源は、ＬＥＤ白色光源であってもよく、ＲＧＢ３色のＬＥＤ光源を合成した白色光であってもよい。励起光源は、８０８±１０ｎｍのレーザーであり、観察エリアのＩＣＧ（インドシアニングリーン）を励起させて近赤外蛍光を生成する。本実施例において、白色光源及び励起光源の強度は、いずれも任意の値である。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【０１０３】
Ｓ２：青色光センサーが近赤外蛍光信号を受信したかどうかを判断する。ＹＥＳの場合、工程Ｓ３に進み、ＮＯの場合、工程Ｓ６に進む。
【０１０４】
Ｓ３：受信した近赤外蛍光信号が連続的なＮ個のピクセルであるかどうかを判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
【０１０５】
Ｓ４：青色光センサーを制御して近赤外蛍光信号を出力し、その他２つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、白色光源の強度を増大又は減少すると共に、励起光源の強度を最大値に調整して、工程Ｓ２に戻る。また、白色光源の強度値のみを調整してもよく、励起光源の強度値のみを調整してもよい。
【０１０６】
Ｓ５：近赤外蛍光映像信号を出力する。
【０１０７】
Ｓ６：工程Ｓ２において近赤外蛍光信号を受信しなかった原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、白色光源の強度を減少して工程Ｓ２に戻る。
【０１０８】
Ｓ７：ＲＧＢカラー映像信号を出力する。
【０１０９】
Ｓ８：工程Ｓ５で出力した近赤外蛍光映像信号及び工程Ｓ７で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【０１１０】
１つの実施形態において、工程Ｓ２は下記工程を有する。
【０１１１】
Ｓ２１：赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数ｒを掛けて青色光信号の強度値に変換し、ａ０とする。
【０１１２】
Ｓ２２：青色光センサーの各ピクセルが受信した光強度ａ１がａ０より大きいかどうかを順に判断する。ＹＥＳの場合、青色光センサーが近赤外蛍光信号を受信したと決定する。ＮＯの場合、青色光センサーが近赤外蛍光信号を受信しなかったと決定する。
【０１１３】
当業者は、他の方法によって青色光センサーが近赤外蛍光信号を受信したかどうかを判断できる。青色光センサーが近赤外蛍光信号を受信したかどうかを判断できるすべての方法は、本発明に含む。
【０１１４】
１つの実施形態において、工程Ｓ４において赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【０１１５】
Ｓ４１：特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
【０１１６】
Ｓ４２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【０１１７】
当業者は、他の方法によって近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
【０１１８】
１つの実施形態において、工程Ｓ６は下記工程に有する。
【０１１９】
Ｓ６１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、白色光源の強度を減少して工程Ｓ６２に進む。
【０１２０】
Ｓ６２：前記白色光源の強度を減少した後、近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ６３に進む。
【０１２１】
Ｓ６３：白色光源の強度を減少前の値に回復する。
【０１２２】
Ｓ６４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【０１２３】
Ｓ６５：赤色光、緑色光、青色光センサーで出力した光信号に基づいて、ＲＧＢカラー映像信号を出力する。
【０１２４】
当業者は、他の方法によってａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。ａ１≦ａ０の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
【０１２５】
なお、他の実施形態において、上記工程Ｓ４の実施形態及び工程Ｓ６の実施形態を同時に使用できる。工程Ｓ４の前記実施形態を選択して、工程Ｓ６の他の実施形態を使用できる。又は、工程Ｓ６の前記実施形態を使用して、工程Ｓ４の他の実施形態を使用できる。
【０１２６】
本発明において、図４に示すように、白色光源をオンする時に白色光源の強度を最大値のＡ％（例えば３０％、ダークノイズより大きい範囲内でできる限りに小さくして、その時の励起光の強度が０〜最大値の範囲内の任意の値である）に減少（調整）して固定してもよい。その後の工程において、励起光源の強度のみを調整することで、近赤外蛍光及びＲＧＢカラー光のコントラスト比が最適値に達成又は接近することができる。
【０１２７】
本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、３つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の１つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の２つのモノクロセンサーが受信した光信号の強度を計算する。２種類の光信号の強度差に基づいて白色光源及び／又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
【０１２８】
図５を参照しながら説明する。図５に示すように、本発明の実施例の画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
【０１２９】
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに近赤外蛍光を撮像する。白色光の反射光は、白色光源を観察エリアに照射して反射したものである。近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。白色光源は、ＬＥＤ白色光源であってもよく、ＲＧＢ３色のＬＥＤ光源を合成した白色光であってもよい。励起光源は、８０８±１０ｎｍのレーザーであり、観察エリアのＩＣＧ（インドシアニングリーン）を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【０１３０】
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数ｒを掛けて青色光信号の強度値に変換し、ａ０とする。
【０１３１】
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値ａ１及びａ０を比較する。
【０１３２】
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
【０１３３】
ａ１＞ａ０の場合、
連続的なＮ個のピクセルがａ１＞ａ０を満足する場合、第１命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力し、その他２つのセンサーが光信号を出力しないように制御する。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値ａ１′とａ０の差がデフォルトの最適値に達成又は接近する場合、第２命令を発信し、デフォルトの最適値に達成又は接近しない場合、第３命令を発信して白色光源の強度を減少する。
【０１３４】
連続的なＮ個のピクセルがａ１＞ａ０を満足しない場合、第３命令を発信して白色光源の強度を減少し、又はａ１′とａ０の差がデフォルトの最適値に達成又は接近しない場合、第４命令を発信して白色光源の強度を増大又は減少する。
【０１３５】
ａ１＜ａ０の場合、第３命令を発信して白色光源の強度を減少する。
【０１３６】
ａ１＝ａ０の場合、第３命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値ａ１１及びａ０を比較する。ａ１１＜ａ０の場合、第５命令を発信して白色光源の強度を減少前の値に回復し、第２命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
【０１３７】
前記信号出力部は、第２命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
【０１３８】
図６を参照しながら説明する。図６に示すように、本発明は、蛍光内視鏡照明撮像装置を提供する。前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、画像処理システム、及び画像表示部を有する。
【０１３９】
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。白色光源は、ＬＥＤ白色光源であってもよく、ＲＧＢ３色のＬＥＤ光源を合成した白色光であってもよい。励起光源は、８０８±１０ｎｍのレーザーであり、観察エリアのＩＣＧ（インドシアニングリーン）を励起させて近赤外蛍光を生成する。具体的には、光照射装置は、白色光源、励起光源、及び光源制御部を有する。光源制御部は、白色光源及び励起光源の強度を調整する。
【０１４０】
前記光学採集部は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。具体的には、光学採集部は、撮像レンズ群、及び撮像レンズ群の後端に位置する光学アダプターを有する。撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。光学アダプターは、撮像レンズ群によって伝送した反射した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。撮像レンズ群は、一般設計の光学レンズ群であり、可視光〜近赤外光のマルチスペクトルの撮像の要求を満足できる。光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、反射した白色光の反射光及び近赤外蛍光を通る。図７は、フィルタの表面コーティング曲線を示す。図７から分かるように、前記フィルタによって、４００〜８００ｎｍの可視光及び８３０〜８５０ｎｍの近赤外蛍光を通って、８０８ｎｍの励起光を濾過する。
【０１４１】
好ましい実施形態において、撮像レンズ群は、内視鏡の一部である。それによって、全体的なシステムの構造をより小さくなり、医者の操作を影響せずに従来の内視鏡を置換できる。
【０１４２】
画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーからなる。ビームスプリッタープリズム組は、２つのプリズムで構成され、光学アダプターの後端に位置し、反射した白色光の反射光をＲ光、Ｇ光、Ｂ光の３つのチャネルに分けてる。その後、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。図８に示すように、ＮＩＲ蛍光がＢ光チャネルに分けられ、Ｂ光と共に青色光センサーに撮像する。以下、具体的な分光プロセスを示す。ビームスプリッタープリズム組に入射した白色光及び近赤外蛍光は、Ｒ＋Ｇ光、及びＢ＋ＮＩＲ光の２つの部分に分けられる。Ｒ＋Ｇ光が第１プリズムのｂ面を透過する。そのうち、Ｇ光が第２プリズムのｄ面を透過して緑色光センサーに撮像する。Ｒ光が第２プリズムのｄ面で反射してから全反射して、第２プリズムのｆ面から射出して赤色光センサーに撮像する。Ｂ＋ＮＩＲ光は、第１プリズムのｂ面で反射してから全反射して、第１プリズムのｃ面から射出して青色光センサーに撮像する。
【０１４３】
図９は、第１プリズムのｂ面、ｃ面、第２プリズムのｄ面のコーティング曲線を示す。ｂ面のコーティングは、緑色光及び赤色光を透過して、青色光及び近赤外蛍光を反射する。ｃ面のコーティングは、青色光及び近赤外蛍光を透過して、緑色光及び赤色光を濾過する。ｄ面のコーティングは、緑色光を透過して赤色光を反射する。青色光が暗色であるため、人体組織を表示する色として利用価値が低い。そのため、近赤外蛍光をＢ光チャネルに分けて青色光センサーに撮像してもよい。即ち、ＮＩＲ蛍光及びＢ光は青色光センサーを共有する。しかしながら、本発明はそれらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【０１４４】
画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
【０１４５】
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。
【０１４６】
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数ｒを掛けて青色光信号の強度値に変換し、ａ０とする。
【０１４７】
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値ａ１及びａ０を比較する。
【０１４８】
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
【０１４９】
ａ１＞ａ０の場合、
連続的なＮ個のピクセルがａ１＞ａ０を満足する場合、第１命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力してＢ色とマークし、その他２つのセンサーが光信号を出力しないように制御する。具体的には、パルス発生器は、赤色、緑色センサーの出力チャネルをオフして、信号を出力しないようにする。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値ａ１′とａ０の差がデフォルトの最適値に達成又は接近する場合、第２命令を発信する。ＮＯの場合、第３命令を発信して白色光源の強度を減少する。
【０１５０】
連続的なＮ個のピクセルがａ１＞ａ０を満足しない場合、第３命令を発信して白色光源の強度を減少し、又はａ１′とａ０の差がデフォルトの最適値に達成又は接近しない場合、第４命令を発信して白色光源の強度を増大又は減少する。
【０１５１】
ａ１＜ａ０の場合、第３命令を発信して白色光源の強度を減少する。
【０１５２】
ａ１＝ａ０の場合、第３命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値ａ１１及びａ０を比較する。ａ１１＜ａ０の場合、第５命令を発信して白色光源の強度を減少前の値に回復し、第２命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。具体的には、パルス発生器は、赤色、緑色センサーのチャネルをオンして対応の光信号を出力する。
【０１５３】
前記信号出力部は、第２命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。即ち、観察エリアにおける正常組織エリアで反射した白色光に対してＲＧＢカラー合成を行って出力すると共に、異常組織エリアが発する近赤外蛍光をＢ色で出力する。
【０１５４】
画像表示部は、モニターを有し、信号出力部で出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力してモニターのスクリーンに表示する。
【０１５５】
以下、本発明の実施例の蛍光内視鏡照明撮像装置を医療検査に利用する例を説明する。
【０１５６】
まず、人体に注射ＩＣＧ試薬を注射し、しばらくしてから、白色光源及びレーザー光源を同時にオンして、白色光源をＡ１値に、レーザー光源を最大値に調整する。すると、組織表面で反射した白色光、励起光、及び発する近赤外蛍光は、撮像レンズ群（腹腔鏡でもよい）に入射し、光学アダプターを経てビームスプリッタープリズム組の前端に到達する。その時に、励起光は、光学アダプター内部にあるフィルタによって濾過される。残った白色光及び近赤外蛍光がビームスプリッタープリズム組に入射し、第１プリズムのａ面を透過して第１プリズムに入射する。その後、第１プリズムのｂ面において、白色光中のＲ光、Ｇ光が透過して第２プリズムに入射し、白色光中のＢ光及びＮＩＲ蛍光が第１プリズムのａ面に反射して全反射して、第１プリズムのｃ面から第１プリズムに射出して青色光センサーに撮像する。第２プリズムに入射したＲ光及びＧ光は、第２プリズムのｄ面に到達してから、Ｇ光が第２プリズムのｄ面から第２プリズムに射出して緑色光センサーに撮像する。Ｒ光が第２プリズムのｅ面に反射して全反射して、第２プリズムのｆ面から第２プリズムを射出して赤色光センサーに撮像する。
【０１５７】
その後、画像処理システムによって生成したＲ光信号、Ｇ光信号、Ｂ光信号及びＮＩＲ蛍光信号に対して処理する。Ｒ光及びＧ光の信号強度の加重平均値を取って、経験係数ｒを掛けて、ａ０とする。青色光センサーが光信号強度ａ１＞ａ０を検知した場合、Ｂ色のＮＩＲ蛍光信号を出力する。その場合、緑色光センサー及び赤色光センサーが信号を出力しない。ａ１≦ａ０の場合、Ｂ光信号を出力し、緑色光センサーで出力したＧ光信号、赤色光センサーで出力したＲ光信号と共にＲＧＢカラー信号を出力することで、カラー蛍光映像信号を出力する。
【０１５８】
青色光センサーがすべてのＮＩＲ蛍光信号を検知した後、画像処理器から命令を光源制御部に出力する。光源制御部は、ＬＥＤ白色光源の強度を次第に増加又は減少することで、蛍光信号の強度の平均値ａ１’とａ０の差を最適値Ｃに達成又は接近させる。即ち、蛍光及びカラー背景光が最適なのコントラスト比に達成する。
【０１５９】
最後、上記カラー蛍光映像信号を画像表示部に出力し、モニターの変換を経て、カラー蛍光画像をモニターのスクリーンに出力する。そのうち、蛍光が青色で、背景がカラーである。
【０１６０】
当業者は、本発明の精神及び範囲内で他のさまざまな変更及び改良を行うことができる。しかしながら、前記変更及び改良が本発明の請求項及びその均等的な範囲内であれば、すべて本発明に含む。
【図１】
2021517847.tif 000003
【図２】
2021517847.tif 000004
【図３】
2021517847.tif 000005
【図４】
2021517847.tif 000006
【図５】
2021517847.tif 000007
【図６】
2021517847.tif 000008
【図７】
2021517847.tif 000009
【図８】
2021517847.tif 000010
【図９】
2021517847.tif 000011
【手続補正書】
【提出日】令和2年10月15日(2020.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ８に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ６：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ７：近赤外蛍光映像信号を出力する。
Ｓ８：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻り、ＮＯの場合、工程Ｓ９に進む。
Ｓ９：前記白色光源の強度を減少する。
Ｓ１０：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ１１に進む。
Ｓ１１：前記白色光源の強度を工程Ｓ９で減少する前の値に回復する。
Ｓ１２：ＲＧＢカラー映像信号を出力する。
Ｓ１３：工程Ｓ７で出力した近赤外蛍光映像信号及び工程Ｓ１２で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項２】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ３：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、工程Ｓ７に進む。
Ｓ４：連続的なＮ個のピクセルがａ１＞ａ０を満足するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ５：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ６に進み、ＮＯの場合、前記白色光源の強度を調整して工程Ｓ２に戻る。
Ｓ６：近赤外蛍光映像信号を出力する。
Ｓ７：ａ１≦ａ０の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ８に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ８：ＲＧＢカラー映像信号を出力する。
Ｓ９：工程Ｓ６で出力した近赤外蛍光映像信号及び工程Ｓ８で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項３】
前記工程Ｓ５において、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項２に記載の蛍光画像の撮像方法。
Ｓ５１：対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ５２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項４】
前記工程Ｓ７は、下記工程を有することを特徴とする、請求項２に記載の蛍光画像の撮像方法。
Ｓ７１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ７２に進む。
Ｓ７２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ７３に進む。
Ｓ７３：前記白色光源の強度を、工程Ｓ７１で減少して工程Ｓ７２に進む前の値に回復する。
Ｓ７４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【請求項５】
下記工程を有することを特徴とする、蛍光画像の撮像方法。
Ｓ１：白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
Ｓ２：近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。ＹＥＳの場合、工程Ｓ３に進み、ＮＯの場合、工程Ｓ６に進む。
Ｓ３：受信した近赤外蛍光信号が連続的なＮ個のピクセルであるかどうかを判断する。ＹＥＳの場合、工程Ｓ４に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。Ｎは２以上の自然数である。
Ｓ４：近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他２つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、工程Ｓ５に進む。ＮＯの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程Ｓ２に戻る。
Ｓ５：近赤外蛍光映像信号を出力する。
Ｓ６：工程Ｓ２において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。ＹＥＳの場合、工程Ｓ７に進み、ＮＯの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。
Ｓ７：ＲＧＢカラー映像信号を出力する。
Ｓ８：工程Ｓ５で出力した近赤外蛍光映像信号及び工程Ｓ７で出力したＲＧＢカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項６】
前記工程Ｓ２は、下記工程を有することを特徴とする、請求項５に記載の蛍光画像の撮像方法。
Ｓ２１：近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号の強度を加重平均し、第３種類の光信号の強度値に変換し、ａ０とする。
Ｓ２２：近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１が工程Ｓ２１で得た強度値ａ０より大きいかどうかを順に判断する。ＹＥＳの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。ＮＯの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
【請求項７】
前記工程Ｓ４において、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項６に記載の蛍光画像の撮像方法。
Ｓ４１：特定面積内の近赤外蛍光信号の強度の平均値を取って、ａ１′とする。
Ｓ４２：ａ１′とａ０の差がデフォルトの最適値に達成又は接近するかどうかを判断する。ＹＥＳの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。ＮＯの場合、近赤外蛍光信号及びＲＧＢ背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項８】
前記工程Ｓ６は、下記工程に有することを特徴とする、請求項６又は７に記載の蛍光画像の撮像方法。
Ｓ６１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ６２に進む。
Ｓ６２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２１で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ６３に進む。
Ｓ６３：前記白色光源の強度を工程Ｓ６１で減少して工程Ｓ６２に進む前の値に回復する。
Ｓ６４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
Ｓ６５：赤色光、緑色光、青色光センサーで出力した光信号に基づいて、ＲＧＢカラー映像信号を出力する。
【請求項９】
前記工程Ｓ４において、前記励起光源の強度調整は、励起光源の強度を最大値に調整することを特徴とする、請求項５に記載の蛍光画像の撮像方法。
【請求項１０】
パルス発生器及び画像処理器を有する画像処理システムであって、
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有し、
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させ、
赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像し、
赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像し、
前記白色光の反射光は、白色光源を観察エリアに照射して反射したものであり、
前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものであり、
前記信号処理部は、近赤外蛍光を受信しない２つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の２種類の光信号を光電変換させ、その強度値を加重平均し、第３種類の光信号の強度値に変換し、ａ０とし、
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値ａ１及びａ０を比較し、
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行し、
ａ１＞ａ０の場合、
連続的なＮ個のピクセルがａ１＞ａ０を満足する場合、第１命令を前記パルス発生器に発信し、前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他２つのセンサーが光信号を出力しないように制御し、近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値ａ１′とａ０の差がデフォルトの最適値に達成又は接近する場合、第２命令を発信し、デフォルトの最適値に達成又は接近しない場合、第３命令を発信して白色光源の強度を減少し、
連続的なＮ個のピクセルがａ１＞ａ０を満足しない場合、第３命令を発信して白色光源の強度を減少し、又はａ１′とａ０の差がデフォルトの最適値に達成又は接近しない場合、第４命令を発信して白色光源の強度を増大又は減少し、
ａ１＜ａ０の場合、第３命令を発信して白色光源の強度を減少し、
ａ１＝ａ０の場合、第３命令を発信して白色光源の強度を減少し、白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値ａ１１及びａ０を比較し、ａ１１＜ａ０の場合、第５命令を発信し、白色光源の強度をａ１＝ａ０が成立する時の値に回復し、第２命令を前記パルス発生器に発信し、前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で赤色光、緑色光、青色光信号を出力するように制御し、
前記信号出力部は、第２命令を受信した後、近赤外蛍光センサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力することを特徴とする、
画像処理システム。
【請求項１１】
請求項１０に記載の画像処理システムと、
光照射装置、光学採集部、画像採集部、及び画像表示部を更に有することを特徴とする、蛍光内視鏡照明撮像装置。
【請求項１２】
前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有し、
前記撮像レンズ群は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を伝送し、
前記光学アダプターは、前記撮像レンズ群によって伝送した反射した白色光及び近赤外蛍光を画像採集部に結合させることを特徴とする、
請求項１１に記載の蛍光内視鏡照明撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
Ｓ７１：ａ１がａ０より小さいかどうかを判断する。ＹＥＳの場合、前記白色光源の強度を減少して工程Ｓ２に戻る。ＮＯの場合、前記白色光源の強度を減少して工程Ｓ７２に進む、
Ｓ７２：前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度ａ１１が工程Ｓ２で得た強度値ａ０より小さいかどうかを順に判断する。ＮＯの場合、工程Ｓ２に戻り、ＹＥＳの場合、工程Ｓ７３に進む。
Ｓ７３：前記白色光源の強度を減少前の値に回復する。
Ｓ７４：赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2021517847.tif 000012
【国際調査報告】
2021517847.tif 000013
2021517847.tif 000014
2021517847.tif 000015
2021517847.tif 000016