(57)【特許請求の範囲】
【請求項１】
内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得部と、
前記画像取得部が取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、
前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、
を備えることを特徴とする処理装置。
【請求項２】
前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の前記位置情報をＲＴＳノイズ情報として生成するＲＴＳノイズ情報生成部と、
前記ＲＴＳノイズ情報生成部が生成した前記ＲＴＳノイズ情報を記録するＲＴＳノイズ情報記録部と、
をさらに備えることを特徴とする請求項１に記載の処理装置。
【請求項３】
前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値の標準偏差であることを特徴とする請求項１に記載の処理装置。
【請求項４】
前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値における出力分布の正負両方向の最大振れ幅であることを特徴とする請求項１に記載の処理装置。
【請求項５】
前記内視鏡に設けられた操作部から被検体に照明光を照射する光源装置に対して消灯を指示する指示信号が入力された場合、前記光源装置を消灯させる処理制御部をさらに備えることを特徴とする請求項１に記載の処理装置。
【請求項６】
被検体を撮像して画像データを生成する撮像素子と、
前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、
前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、
を備えることを特徴とする内視鏡。
【請求項７】
前記被検体に挿入可能な挿入部と、
処理装置に接続可能なコネクタ部と、
をさらに備え、
前記挿入部は、先端部に前記撮像素子を有し、
前記コネクタ部は、前記暗時判定部、前記蓄積部、前記算出部、前記ＲＴＳノイズ判定部および前記ＲＴＳノイズ補正部を有することを特徴とする請求項６に記載の内視鏡。
【請求項８】
被検体を撮像して画像データを生成する撮像素子を備える内視鏡と、
前記画像データに対して画像処理を行う処理装置と、
前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、
前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、
を備えることを特徴とする内視鏡システム。
【請求項９】
内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、
前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、
前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、
画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定ステップと、
前記ＲＴＳノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
処理装置に、
内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、
前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、
前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、
画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定ステップと、
前記ＲＴＳノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被検体の生体内に導入され、該生体内の画像を撮像する内視鏡が接続される処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の固体撮像素子は、光を受光して光電変換を行って電気信号を出力する複数の画素から構成されている。このような固体撮像素子において、光の受光量と相関がない、異常な電気信号を出力する欠陥画素が存在することが知られている。この欠陥画素の種類には、受光面へのゴミの付着や、素子の結晶欠陥等により、常に異常な電気信号を出力する定常的な欠陥画素と、固体撮像素子の小型化に伴って、ＭＯＳトランジスタ内を移動する電子がゲート絶縁膜に存在するトラップ準位に捕獲されることに起因する電流の乱れにより生じるＲＴＳ（Random  Telegraph  Signal）ノイズによって、異常な電気信号を不定期に出力する点滅欠陥画素がある。【０００３】
点滅欠陥画素は、動画撮影時に、不定期に発生する画像ノイズとして撮像画像に現れる。この画像ノイズを除去するための技術として、撮像素子を遮光した状態で、固体撮像素子に複数回撮像させ、この撮像した複数の画像から点滅欠陥画素を検出し、検出した点滅欠陥画素の電気信号を補正する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１１７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１では、撮像素子を遮光した状態でなければ、点滅欠陥画素を検出することができないため、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる技術が望まれていた。【０００６】
本開示は、上記に鑑みてなされたものであって、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る処理装置は、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得部と、前記画像取得部が取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、を備えることを特徴とする。【０００８】
また、本開示に係る処理装置は、上記開示において、前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の前記位置情報をＲＴＳノイズ情報として生成するＲＴＳノイズ情報生成部と、前記ＲＴＳノイズ情報生成部が生成した前記ＲＴＳノイズ情報を記録するＲＴＳノイズ情報記録部と、をさらに備えることを特徴とする。【０００９】
また、本開示に係る処理装置は、上記開示において、前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値の標準偏差であることを特徴とする。【００１０】
また、本開示に係る処理装置は、上記開示において、前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値における出力分布の正負両方向の最大振れ幅であることを特徴とする。【００１１】
また、本開示に係る処理装置は、上記開示において、前記内視鏡に設けられた操作部から被検体に照明光を照射する光源装置に対して消灯を指示する指示信号が入力された場合、前記光源装置を消灯させる処理制御部をさらに備えることを特徴とする。【００１２】
また、本開示に係る内視鏡は、被検体を撮像して画像データを生成する撮像素子と、前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、を備えることを特徴とする。【００１３】
また、本開示に係る内視鏡は、上記開示において、前記被検体に挿入可能な挿入部と、処理装置に接続可能なコネクタ部と、をさらに備え、前記挿入部は、先端部に前記撮像素子を有し、前記コネクタ部は、前記暗時判定部、前記蓄積部、前記算出部、前記ＲＴＳノイズ判定部および前記ＲＴＳノイズ補正部を有することを特徴とする。【００１４】
また、本開示に係る内視鏡システムは、被検体を撮像して画像データを生成する撮像素子を備える内視鏡と、前記画像データに対して画像処理を行う処理装置と、前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部と、前記ＲＴＳノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部と、を備えることを特徴とする。【００１５】
また、本開示に係る画像処理方法は、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定ステップと、前記ＲＴＳノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正ステップと、を含むことを特徴とする。【００１６】
また、本開示に係るプログラムは、処理装置に、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定ステップと、前記ＲＴＳノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正ステップと、を実行させることを特徴とする。
【発明の効果】
【００１７】
本開示によれば、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】図１は、本開示の一実施の形態に係る内視鏡システムの概略構成を示す図である。
【図２】図２は、本開示の一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。
【図３】図３は、本開示の一実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための形態（以下、「実施の形態」という）として、患者等の被検体の体腔内を撮像して画像を表示する医療用の内視鏡システムを例に説明する。また、この実施の形態により、この開示が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
【００２０】
〔内視鏡システムの構成〕
図１は、本開示の一実施の形態に係る内視鏡システムの概略構成を示す図である。図２は、本開示の一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。
【００２１】
図１に示す内視鏡システム１は、被検体の体内を撮像して画像データ（ＲＡＷデータ）を生成する内視鏡２（電子スコープ）と、内視鏡２の先端から被検体を照射するための照明光を発生する光源装置３と、内視鏡２が撮像した画像データに対応する画像を表示可能な表示装置４と、内視鏡２が撮像した画像データに対して所定の画像処理を施して表示装置４へ出力するとともに、内視鏡システム１全体の動作を統括的に制御する処理装置５（プロセッサ）と、を備える。
【００２２】
〔内視鏡の構成〕
まず、内視鏡２の構成について説明する。
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置５を接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００２３】
挿入部２１は、後述する撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
【００２４】
先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光して光を受光して電気信号に光電変換する複数の画素が２次元状に配列された撮像素子２４４と、内視鏡２に関する各種情報を記録する内視鏡記録部２４５と、撮像素子２４４を制御する撮像制御部２４６と、を有する。
【００２５】
光学系２４３は、１または複数のレンズを用いて構成され、光軸Ｌに沿って移動することによって、画角を変化させる光学ズームおよび焦点を変化させる。
【００２６】
撮像素子２４４は、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列され、被写体（体腔）を所定のフレームレートで撮像して画像データ（ＲＡＷデータ）を出力する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元マトリックス状に配設されるＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のイメージセンサを用いて構成される。撮像素子２４４は、各画素が生成した電気信号（画素値）を画像データとして処理装置５へ出力する。
【００２７】
内視鏡記録部２４５は、内視鏡２に関する各種情報、たとえば内視鏡２を識別する識別情報や撮像素子２４４の識別情報等を記録する。内視鏡記録部２４５は、揮発性メモリ等を用いて構成される。
【００２８】
撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４の動作を制御する。具体的には、撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４のフレームレートを制御する。たとえば、撮像制御部２４６は、撮像素子２４４に６０ｆｐｓで画像データを出力させる。
【００２９】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源装置３、処理装置５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像素子２４４に静止画撮影を指示するプリフリーズ信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
【００３０】
ユニバーサルコード２３は、ライトガイド２４１と、１または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源装置３と処理装置５との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像データを送受信するための信号線、撮像素子２４４を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に処理装置５に着脱自在なコネクタ部２８を有する。
【００３１】
〔光源装置の構成〕
次に、光源装置３の構成について説明する。
光源装置３は、光源部３１と、光源ドライバ３２と、照明制御部３３と、を備える。
【００３２】
光源部３１は、被検体を照射する照明光を出射する。光源部３１は、集光レンズ３１１と、光源３１２と、を有する。集光レンズ３１１は、１または複数のレンズを用いて構成され、光源３１２が発光した光を集光する。光源３１２は、ＬＥＤ（Light  Emitting  Diode）を用いて構成され、白色光を発生する。なお、光源３１２は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成し、各ＬＥＤを同時発光させることにより、白色光を発生させる同時式であってもよいし、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成し、各色を順次発生させる面順次式であってもよい。
【００３３】
光源ドライバ３２は、光源３１２に対して照明制御部３３の制御のもと、電流を供給することにより、光源３１２に白色光を間欠的に発生させる。光源３１２が発光した光は、集光レンズ３１１およびライトガイド２４１を経由して先端部２４の先端から照射される。
【００３４】
照明制御部３３は、処理装置５から入力される指示信号に基づいて、光源３１２の点灯タイミングを制御する。具体的には、照明制御部３３は、所定の周期で光源３１２を消灯させる。照明制御部３３は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００３５】
〔表示装置の構成〕
次に、表示装置４の構成について説明する。
表示装置４は、処理装置５から入力される体内画像を表示する。また、表示装置４は、内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶または有機ＥＬ（Electro  Luminescence）等を用いて構成される。
【００３６】
〔処理装置の構成〕
次に、処理装置５の構成について説明する。
処理装置５は、画像取得部５１と、ＲＴＳノイズ検出部５２と、記録部５３と、画像処理部５４と、処理制御部５５と、を備える。
【００３７】
画像取得部５１は、内視鏡２に設けられた撮像素子２４４によって生成された画像データ（ＲＡＷデータ）を取得する。具体的には、画像取得部５１は、処理制御部５５の制御のもと、撮像素子２４４から所定のフレームレートで画像データを順次取得する。また、画像取得部５１は、処理制御部５５の制御のもと、撮像素子２４４から取得した画像データをＲＴＳノイズ検出部５２および画像処理部５４の各々へ出力する。
【００３８】
ＲＴＳノイズ検出部５２は、画像取得部５１から入力された画像データ（ＲＡＷデータ）に含まれるＲＴＳノイズを検出し、この検出したＲＴＳノイズが発生した画素（以下、「点滅欠陥画素」という）の撮像素子２４４上における位置（画素アドレス）に関するＲＴＳノイズ情報を生成して記録部５３へ出力する。ＲＴＳノイズ検出部５２は、暗時判定部５２１と、蓄積部５２２と、算出部５２３と、ＲＴＳノイズ判定部５２４と、ＲＴＳノイズ情報生成部５２５と、を有する。
【００３９】
暗時判定部５２１は、画像取得部５１から順次入力された画像データに対応する画像の画素毎に画素値（出力値）が予め設定された暗時閾値以下であるか否かを判定する。ここで、暗時閾値とは、撮像素子２４４を遮光した状態で撮像素子２４４が生成した画像データに対応する画像の各画素の画素値の平均値に所定の係数（例えば１．２倍）を乗じた値である。もちろん、暗時閾値を、撮像素子２４４を遮光した状態で撮像素子２４４が生成した画像データに対応する画像の各画素の画素値の平均値としてもよい。さらに、暗時判定部５２１は、暗時閾値を注目画素の周辺画素（例えば注目画素の周辺８画素）の平均値としてもよい。この場合において、暗時判定部５２１は、周辺画素の欠陥画素（白傷や黒傷）や点滅欠陥画素が記録部５３に記録されているとき、この欠陥画素や点滅欠陥画素の画素値を除外して平均値を算出し、この平均値を暗時閾値として用いてもよい。
【００４０】
蓄積部５２２は、暗時判定部５２１が判定する毎に、暗時判定部５２１によって暗時閾値以下であると判定された画素の画素値および撮像素子２４４上における位置に関する位置情報を所定のフレーム数蓄積を行う。
【００４１】
算出部５２３は、蓄積部５２２に蓄積された画素毎に画素値の統計値を算出する。具体的には、算出部５２３は、画素毎に画素値の標準偏差および画素毎の画素値における出力分布の正負両方向の最大振れ幅を算出する。
【００４２】
ＲＴＳノイズ判定部５２４は、算出部５２３が算出した画素毎の統計値に基づいて、画素毎にＲＴＳノイズが発生しているか否かを判定する。具体的には、ＲＴＳノイズ判定部５２４は、画素毎に算出部５２３によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素（ＲＴＳノイズ）として判定する。ここで、予め設定された範囲とは、正常画素の画素値の標準偏差に基づく範囲および正常画素の画素値における出力分布の正負両方向の最大振れ幅のいずれか一方である。具体的には、ＲＴＳノイズ判定部５２４は、算出部５２３が算出した画素毎の標準偏差に基づいて、画素毎に算出部５２３によって算出された標準偏差が予め設定された範囲外であるか否かを判定し、標準偏差が範囲外である画素、または算出部５２３が算出した画素値における出力分布の正負両方向の最大振れ幅が正常画素の画素値における出力分布の正負両方向の最大振れ幅の範囲外であるか否かを判定し、画素値における出力分布の正負両方向の最大振れ幅が正常画素の画素値における出力分布の正負両方向の最大振れ幅の範囲外である画素を点滅欠陥画素として判定する。
【００４３】
ＲＴＳノイズ情報生成部５２５は、ＲＴＳノイズ判定部５２４によって範囲外であると判定された点滅欠陥画素の撮像素子２４４上における位置（画素アドレス）に関する位置情報をＲＴＳノイズ情報として生成して記録部５３へ出力する。この場合、ＲＴＳノイズ情報生成部５２５は、撮像素子２４４上における点滅欠陥画素の位置情報と算出部５２３が算出した統計値とを対応付けたＲＴＳノイズ情報を生成して記録部５３へ出力してもよい。
【００４４】
記録部５３は、揮発性メモリや不揮発性メモリを用いて構成され、内視鏡システム１に関する各種情報を記録する。記録部５３は、内視鏡システム１が実行するプログラムやデータを記録するプログラム記録部５３１と、撮像素子２４４上における白傷の位置（画素アドレス）に関する白傷情報を記録する白傷情報記録部５３２と、撮像素子２４４上における黒傷の位置（画素アドレス）に関する黒傷情報を記録する黒傷情報記録部５３３と、ＲＴＳノイズ情報生成部５２５によって生成されたＲＴＳノイズ情報を記録するＲＴＳノイズ情報記録部５３４と、を有する。
【００４５】
画像処理部５４は、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）等を用いて構成され、画像取得部５１から入力された画像データ（ＲＡＷデータ）に対して、所定の画像処理を行って表示装置４へ出力する。具体的には、画像処理部５４は、画像データに対して、デモザイキング処理、ホワイトバランス調整処理、ゲイン調整処理、欠陥画素補正処理、ＲＴＳノイズ補正処理およびフォーマット変換処理等を行って表示装置４へ出力する。画像処理部５４は、少なくとも、画素補正部５４１と、ＲＴＳノイズ補正部５４２と、を有する。
【００４６】
画素補正部５４１は、白傷情報記録部５３２が記録する白傷情報および黒傷情報記録部５３３が記録する黒傷情報に基づいて、画像データに含まれる白傷および黒傷を補正する。例えば、画素補正部５４１は、白傷または黒傷が発生する画素の周辺画素の画素値の平均値を用いて白傷または黒傷が発生する画素の画素値を補正する。
【００４７】
ＲＴＳノイズ補正部５４２は、ＲＴＳノイズ情報記録部５３４が記録するＲＴＳノイズ情報に基づいて、画像データに含まれるＲＴＳノイズを補正する。例えば、ＲＴＳノイズ補正部５４２は、ＲＴＳノイズが発生する画素の周辺画素の画素値の平均値を用いてＲＴＳノイズが発生する画素の画素値を補正する。
【００４８】
処理制御部５５は、内視鏡システム１を構成する各部の駆動を制御する。処理制御部５５は、ＣＰＵ等を用いて構成される。また、処理制御部５５は、操作部２２からプリフリーズを指示する指示信号が入力された場合、照明制御部３３を介して光源部３１を消灯させる。
【００４９】
〔内視鏡システムの処理〕
次に、内視鏡システム１が実行する処理について説明する。図３は、内視鏡システム１が実行する処理の概要を示すフローチャートである。
【００５０】
図３に示すように、まず、操作部２２からプリフリーズを指示する指示信号が入力された場合（ステップＳ１０１：Ｙｅｓ）、処理制御部５５は、照明制御部３３を介して光源部３１を消灯させる（ステップＳ１０２）。ステップＳ１０２の後、内視鏡システム１は、後述するステップＳ１０４へ移行する。これに対して、操作部２２からプリフリーズを指示する指示信号が入力されていない場合（ステップＳ１０１：Ｎｏ）、処理制御部５５は、照明制御部３３を介して光源部３１を点灯させる（ステップＳ１０３）。ステップＳ１０３の後、内視鏡システム１は、後述するステップＳ１０４へ移行する。
【００５１】
ステップＳ１０４において、処理制御部５５は、撮像制御部２４６を介して撮像素子２４４に撮像を実行させる。この場合において、画像取得部５１は、撮像素子２４４が生成した画像データを撮像素子２４４から取得する。このとき、光源部３１が消灯している状況下では、撮像素子２４４によって生成された画像データに対応する画像は、全領域が撮像素子２４４を遮光した状態と同様の暗時領域（暗時画像）となる。これに対して、光源部３１が点灯している状況下では、撮像素子２４４によって生成された画像データに対応する画像は、内視鏡２が被検体の管腔内を撮像し、管腔方向（奥行き方向）へ照射された照明光による反射光を受光できないため、撮像素子２４４の一部分を遮光した状態と同様に、一部分が暗時領域（暗時画像）となる。
【００５２】
続いて、暗時判定部５２１は、画像取得部５１から入力された画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する（ステップＳ１０５）。
【００５３】
その後、蓄積部５２２は、暗時判定部５２１によって暗時閾値以下であると判定された画素の画素値および位置情報を画素毎に蓄積する（ステップＳ１０６）。
【００５４】
その後、蓄積部５２２に蓄積された画素値の数が一定数（例えば２５６個または２０００個等）に到達した画素がある場合（ステップＳ１０７：Ｙｅｓ）、蓄積部５２２は、一定数に到達した画素の画素値データを算出部５２３へ出力する（ステップＳ１０８）。ステップＳ１０８の後、内視鏡システム１は、後述するステップＳ１０９へ移行する。
【００５５】
ステップ１０７において、これに対して、蓄積部５２２に蓄積された画素値の数が一定数に到達した画素がない場合（ステップＳ１０７：Ｎｏ）、内視鏡システム１は、後述するステップＳ１１４へ移行する。
【００５６】
ステップＳ１０９において、算出部５２３は、蓄積部５２２から入力された画素毎に統計値を算出する。具体的には、算出部５２３は、画素毎の出力値の標準偏差および画素毎の画素値における出力分布の正負両方向の最大振れ幅を統計値として算出する。
【００５７】
続いて、ＲＴＳノイズ判定部５２４は、算出部５２３が算出した画素毎の統計値に基づいて、画素毎にＲＴＳノイズが発生しているか否かを判定する（ステップＳ１１０）。具体的には、ＲＴＳノイズ判定部５２４は、画素毎に算出部５２３によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素（ＲＴＳノイズ）として判定する。
【００５８】
その後、ＲＴＳノイズ判定部５２４によってＲＴＳノイズであると判定された画素があると判定された場合（ステップＳ１１１：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ１１２へ移行する。これに対して、ＲＴＳノイズ判定部５２４によってＲＴＳノイズでないと判定された場合（ステップＳ１１１：Ｎｏ）、内視鏡システム１は、後述するステップＳ１１４へ移行する。
【００５９】
ステップ１１２において、ＲＴＳノイズ情報生成部５２５は、ＲＴＳノイズ判定部５２４によってＲＴＳノイズと判定された画素の撮像素子２４４上における位置（画素アドレス）に関する位置情報をＲＴＳノイズ情報として生成する。
【００６０】
続いて、ＲＴＳノイズ情報をＲＴＳノイズ情報記録部５３４に記録させて更新する（ステップＳ１１３）。
【００６１】
その後、画像処理部５４は、ＲＴＳノイズが補正された画像データに対して、所定の画像処理を行って表示装置４へ出力する（ステップＳ１１４）。この場合、ＲＴＳノイズ補正部５４２は、ＲＴＳノイズ情報記録部５３４が記録するＲＴＳノイズ情報に基づいて、ＲＴＳノイズが発生する画素の画素値を補正する。
【００６２】
続いて、操作部２２から終了を指示する指示信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、操作部２２から終了を指示する指示信号が入力されていない場合（ステップＳ１１５：Ｎｏ）、内視鏡システム１は、上述したステップＳ１０１へ戻る。
【００６３】
以上説明した本開示の一実施の形態によれば、ＲＴＳノイズ判定部５２４が画素毎に算出部５２３によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素（ＲＴＳノイズ）として判定し、ＲＴＳノイズ補正部５４２がＲＴＳノイズ情報生成部５２５によって生成されたＲＴＳノイズ情報に基づいて、ＲＴＳノイズが発生する点滅欠陥画素の画素値を補正するので、撮像素子２４４内における点滅欠陥画素をリアルタイムで確実に検出して補正することができる。
【００６４】
また、本開示の一実施の形態によれば、処理装置５にＲＴＳノイズ検出部５２、ＲＴＳノイズ情報記録部５３４およびＲＴＳノイズ補正部５４２が設けられていたが、これに限定されることなく、ＲＴＳノイズ検出部５２、ＲＴＳノイズ情報記録部５３４およびＲＴＳノイズ補正部５４２を内視鏡２に設けてもよい。この場合、内視鏡２のコネクタ部２７に、ＲＴＳノイズ検出部５２、ＲＴＳノイズ情報記録部５３４およびＲＴＳノイズ補正部５４２を設ければよい。この結果、処理装置５の種別が変更された場合であっても、ＲＴＳノイズを確実に検出して補正した状態の画像データを処理装置５へ出力することができる。
【００６５】
また、本開示の一実施の形態によれば、処理装置５にＲＴＳノイズ検出部５２、ＲＴＳノイズ情報記録部５３４およびＲＴＳノイズ補正部５４２が設けられていたが、これに限定されることなく、ＲＴＳノイズ検出部５２およびＲＴＳノイズ情報記録部５３４を内視鏡２に、ＲＴＳノイズ補正部５４２を処理装置５に設けてもよい。もちろん、ＲＴＳノイズ情報記録部５３４のみを内視鏡２に設けてもよいし、ＲＴＳノイズ検出部５２のみを内視鏡２に設けてもよい。
【００６６】
（その他の実施の形態）
また、本開示の一実施の形態では、同時式の内視鏡システムを例に説明したが、面順次式の内視鏡システムであっても適用することができる。
【００６７】
また、本開示の一実施の形態では、軟性内視鏡（上下内視鏡スコープ）以外にも、硬性内視鏡、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
【００６８】
また、本開示の一実施の形態では、被検体内に挿入可能な内視鏡を例に説明したが、被検体内に導入可能なカプセル型の筐体に撮像素子、光源装置および処理装置を設けたカプセル型内視鏡であっても適用することができる。
【００６９】
また、本開示では、処理制御部５５が光源部３１を消灯させることによって、撮像素子２４４に暗時状態の画像データを生成させていたが、たとえば光源部３１の光路上に遮光領域を有する回転フィルタを設け、プリフレーズを指示する指示信号が入力された場合、回転フィルタを回転させることによって、光源部３１を模擬的に消灯させてもよい。
【００７０】
また、本開示では、ＲＴＳノイズ補正部５４２がリアルタイムで点滅欠陥画素を補正していたが、例えば撮像素子２４４が連続的に生成した画像データを記録媒体に順次記録させ、この記録媒体に記録された画像データの再生時に点滅欠陥画素を補正してもよい。
【００７１】
また、本開示の実施の形態では、処理装置と光源装置とが別体であったが、一体的に形成してもよい。
【００７２】
また、本開示の実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、画像処理部は、画像処理手段や画像処理回路に読み替えることができる。
【００７３】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００７４】
このように、本開示は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【００７５】
１  内視鏡システム
２  内視鏡
３  光源装置
４  表示装置
５  処理装置
２１  挿入部
２２  操作部
２３  ユニバーサルコード
２４  先端部
２５  湾曲部
２６  可撓管部
２７  コネクタ部
２７ａ  コイルケーブル
２８  コネクタ部
３１  光源部
３２  光源ドライバ
３３  照明制御部
５１  画像取得部
５２  ＲＴＳノイズ検出部
５３  記録部
５４  画像処理部
５５  処理制御部
２４１  ライトガイド
２４２  照明レンズ
２４３  光学系
２４４  撮像素子
２４５  内視鏡記録部
２４６  撮像制御部
３１１  集光レンズ
３１２  光源
５２１  暗時判定部
５２２  蓄積部
５２３  算出部
５２４  ＲＴＳノイズ判定部
５２５  ＲＴＳノイズ情報生成部
５３１  プログラム記録部
５３２  白傷情報記録部
５３３  黒傷情報記録部
５３４  ＲＴＳノイズ情報記録部
５４１  画素補正部
５４２  ＲＴＳノイズ補正部
【要約】
撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムを提供する。処理装置５は、暗時判定部５２１によって暗時閾値以下であると判定された画素の画素値および撮像素子２４４上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部５２２と、蓄積部５２２が所定のフレーム数蓄積した画素の画素値と位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部５２３と、画素毎に統計値が予め設定された範囲外であるか否かを判定するＲＴＳノイズ判定部５２４と、ＲＴＳノイズ判定部５２４によって範囲外であると判定された画素の画素値を補正するＲＴＳノイズ補正部５４２と、を備える。【図１】
0006503524.tif 000002
【図２】
0006503524.tif 000003
【図３】
0006503524.tif 000004