(57)【要約】【課題】ダイナミックレンジを拡大し、ハレーションの発生を抑制すること可能とする内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法を提供する。【解決手段】内視鏡システムは、照明部と、内視鏡と、制御部とを備える。照明部は、観察対象に一定光量の照明光を連続照射する。内視鏡は、照明部により照明された観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する。制御部は、撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、第１画素行群の第１露光時間と、第２画素行群の第２露光時間とを異ならせる。【選択図】図８
2019042275.tif 000002
【特許請求の範囲】
【請求項１】
観察対象に一定光量の照明光を連続照射する照明部と、
前記照明部により照明された前記観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、
前記撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、前記第１画素行群の第１露光時間と、前記第２画素行群の第２露光時間とを異ならせる制御部と、
を備える内視鏡システム。
【請求項２】
前記撮像素子は、緑色フィルタが配置された緑色画素と、青色フィルタが配置された青色画素と、及び赤色フィルタが配置された赤色画素とがベイヤー配列されたカラーフィルタアレイを有しており、
前記第１画素行群は、前記青色画素と前記緑色画素が交互に配置された画素行群であり、前記第２画素行群は、前記緑色画素と前記赤色画素とが交互に配置された画素行群である請求項１に記載の内視鏡システム。
【請求項３】
前記撮像素子は、前記第１画素行群をリセットする第１リセット走査回路と、前記第２画素行群をリセットする第２リセット走査回路と、前記第１画素行群及び前記第２画素行群から信号を読み出す読み出し走査回路と、を含む請求項２に記載の内視鏡システム。
【請求項４】
前記制御部は、前記第１リセット走査回路による第１リセット動作と、前記第２リセット走査回路による第２リセット動作とのタイミングを制御することにより、前記第１露光時間と前記第２露光時間とを異ならせる請求項３に記載の内視鏡システム。
【請求項５】
前記制御部は、前記複数の画素行を、上部、中央部、及び下部に分け、上部及び下部と、中央部とで前記第２露光時間を変更する請求項２から４いずれか１項に記載の内視鏡システム。
【請求項６】
前記制御部は、前記第２露光時間を、前記第１露光時間よりも短くする請求項２から４いずれか１項に記載の内視鏡システム。
【請求項７】
前記撮像素子から出力された撮像信号に対してデモザイク処理を行う信号処理部を備え、
前記信号処理部は、前記第１画素行群に含まれる前記緑色画素の画素値が基準値より大きい場合に、当該画素値を、当該緑色画素に隣接し、前記第２画素行群に含まれる前記緑色画素の画素値に係数を乗じた値で置き換える処理を含む前処理を行う請求項６に記載の内視鏡システム。
【請求項８】
前記係数は、前記第１露光時間を前記第２露光時間で割った値である請求項７に記載の内視鏡システム。
【請求項９】
前記信号処理部は、前記第２画素行群に含まれる前記緑色画素及び前記赤色画素の各画素値を、当該各画素値に前記係数を乗じた値で置き換える請求項７に記載の内視鏡システム。
【請求項１０】
信号処理部は、前記撮像素子から出力された撮像信号からハレーションが生じている領域を検出し、検出した領域に含まれる前記第２画素行群の前記第２露光時間を、前記第１露光時間よりも短くする請求項２から４いずれか１項に記載の内視鏡システム。
【請求項１１】
観察対象に一定光量の照明光を連続照射する照明部と、
前記照明部により照明された前記観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、を備える内視鏡システムのプロセッサ装置において、
前記撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、前記第１画素行群の第１露光時間と、前記第２画素行群の第２露光時間とを異ならせる制御部と、
を備える内視鏡システムのプロセッサ装置。
【請求項１２】
観察対象に一定光量の照明光を連続照射する照明部と、
前記照明部により照明された前記観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、を備える内視鏡システムの作動方法において、
前記撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、前記第１画素行群の第１露光時間と、前記第２画素行群の第２露光時間とを異ならせる内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法に関する。
【背景技術】
【０００２】
医療分野において、内視鏡用光源装置（以下、光源装置という）、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、管腔の粘膜等の観察対象に照射する照明光を生成する装置である。内視鏡は、先端部に、照明光が照射された観察対象を撮像する撮像素子を有している。
【０００３】
従来の内視鏡システムでは、撮像素子としてＣＣＤ（Charge Coupled Device）型の撮像素子が用いられていたが、近年ではＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子が用いられつつある。これは、ＣＭＯＳ型の撮像素子は、ＣＣＤ型の撮像素子に比べて低消費電力であることや、ＡＤＣ（Analog-to-Digital Converter）回路等の周辺回路を撮像部と同一の基板上に形成することが可能であるためである。このＣＭＯＳ型の撮像素子では、基本的に、撮像部に構成された複数の画素行を、１画素行ずつ順にリセットと信号読み出しを行うローリングシャッタ方式が採用されている。各画素行のリセットから信号読み出しまでの期間が露光期間である。
【０００４】
本出願人は、特許文献１において、ＣＭＯＳ型の撮像素子を備えた内視鏡システムの駆動方法を提案している。この内視鏡システムは、生体内の観察部位に、分光特性が異なる第１照明光と第２照明光を照射して観察を行う特殊観察モードを有するものである。この特殊観察モードでは、第１照明光と第２照明光とが、光源装置から交互に内視鏡に供給され、内視鏡の先端部から観察部位に照射される。例えば、第１照明光は白色光（通常光）であり、第２照明光は血中ヘモグロビンの吸光係数が高い光を含む特殊光である。第１照明光により照明された観察部位を撮像することにより通常観察画像が生成され、第２照明光により照明された観察部位を撮像することにより特殊観察画像が生成される。
【０００５】
特許文献１に記載の内視鏡システムでは、撮像素子の全画素行をリセットするとともに第１照明光で露光を行った後、全画素行のうちの一部を一括してリセットするとともに照明光を第２照明光に切り替え、第２照明光で露光を行った後、消灯した状態で、全画素行から信号読み出しが行われる。この場合、リセットが行われずに第１及び第２照明光で露光された画素行から読み出された第１撮像信号と、リセットが行われて第２照明光のみで露光された画素行から読み出された第２撮像信号とを用いて加減算を行うことにより、通常観察画像と特殊観察画像とを生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５／１５２５２９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の内視鏡システムでは、通常観察画像と特殊観察画像とを生成することができるが、各画像における有効画素数は、撮像素子の画素数の半分である。また、第１照明光と第２照明光との照射時間はそれぞれ１フレーム期間の半分であるため、光量が不足するという課題もある。
【０００８】
一方、内視鏡システムでは、撮像素子から数ミリメートル先に位置する特定部位を観察対象とする近距離観察を行う場合の他に、管腔内など、撮像素子から数センチメートルから数十センチメートルの範囲を観察対象とする場合がある。特に、管腔内を観察する場合には、管腔内表面の反射率が高い箇所においてハレーション（白とび）が生じやすい。これは、撮像素子の受光量が、ダイナミックレンジを超えることに起因する。
【０００９】
ハレーションが生じた場合、照明光の光量を低下させることによりハレーションが生じた部位の観察が可能となるが、その反面、ハレーションが生じていなかった部位の光量が不足し、観察画像のＳ／Ｎが低下する。
【００１０】
本発明は、ダイナミックレンジを拡大し、ハレーションの発生を抑制すること可能とする内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の内視鏡システムは、観察対象に一定光量の照明光を連続照射する照明部と、照明部により照明された観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、第１画素行群の第１露光時間と、第２画素行群の第２露光時間とを異ならせる制御部と、を備える。
【００１２】
撮像素子は、緑色フィルタが配置された緑色画素と、青色フィルタが配置された青色画素と、及び赤色フィルタが配置された赤色画素とがベイヤー配列されたカラーフィルタアレイを有しており、第１画素行群は、青色画素と緑色画素が交互に配置された画素行群であり、第２画素行群は、緑色画素と赤色画素とが交互に配置された画素行群であることが好ましい。
【００１３】
撮像素子は、第１画素行群をリセットする第１リセット走査回路と、第２画素行群をリセットする第２リセット走査回路と、第１画素行群及び第２画素行群から信号を読み出す読み出し走査回路と、を含むことが好ましい。
【００１４】
制御部は、第１リセット走査回路による第１リセット動作と、第２リセット走査回路による第２リセット動作とのタイミングを制御することにより、第１露光時間と第２露光時間とを異ならせることが好ましい。
【００１５】
制御部は、複数の画素行を、上部、中央部、及び下部に分け、上部及び下部と、中央部とで第２露光時間を変更してもよい。
【００１６】
制御部は、第２露光時間を、第１露光時間よりも短くすることが好ましい。
【００１７】
撮像素子から出力された撮像信号に対してデモザイク処理を行う信号処理部を備え、信号処理部は、第１画素行群に含まれる緑色画素の画素値が基準値より大きい場合に、当該画素値を、当該緑色画素に隣接し、第２画素行群に含まれる緑色画素の画素値に係数を乗じた値で置き換える処理を含む前処理を行うことが好ましい。この係数は、第１露光時間を第２露光時間で割った値である。
【００１８】
信号処理部は、第２画素行群に含まれる緑色画素及び赤色画素の各画素値を、当該各画素値に係数を乗じた値で置き換えることが好ましい。
【００１９】
信号処理部は、撮像素子から出力された撮像信号からハレーションが生じている領域を検出し、検出した領域に含まれる第２画素行群の第２露光時間を、第１露光時間よりも短くすることが好ましい。
【００２０】
本発明の内視鏡システムのプロセッサ装置は、観察対象に一定光量の照明光を連続照射する照明部と、照明部により照明された観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、を備える内視鏡システムのプロセッサ装置において、撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、第１画素行群の第１露光時間と、第２画素行群の第２露光時間とを異ならせる制御部と、を備える。
【００２１】
本発明の内視鏡システムの作動方法は、観察対象に一定光量の照明光を連続照射する照明部と、照明部により照明された観察対象を、列方向に配列された複数の画素行を構成する第１画素行群と第２画素行群とにより撮像するＣＭＯＳ型の撮像素子を有する内視鏡と、を備える内視鏡システムの作動方法において、撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、第１画素行群の第１露光時間と、第２画素行群の第２露光時間とを異ならせる。
【発明の効果】
【００２２】
本発明によれば、撮像素子をローリングシャッタ方式で撮像動作を作動させるとともに、第１画素行群の第１露光時間と、第２画素行群の第２露光時間とを異ならせることにより、ダイナミックレンジを拡大し、ハレーションの発生を抑制することができる。
【図面の簡単な説明】
【００２３】
【図１】内視鏡システムの外観図である。
【図２】内視鏡の先端部の正面図である。
【図３】内視鏡システムの電気的構成を示すブロック図である。
【図４】撮像素子の電気的構成を示す図である。
【図５】カラーフィルタアレイの構成を示す図である。
【図６】カラーフィルタの分光透過特性を示す図である。
【図７】撮像素子の画素の構成を示す図である。
【図８】撮像素子の動作タイミングを示す図である。
【図９】腸管内の粘膜の分光反射率を例示するグラフである。
【図１０】デモザイク処理の前に行う前処理を説明するフローチャートである。
【図１１】観察部位の明るさに対するＧ１画素とＧ２画素との画素値の変化を例示するグラフである。
【図１２】第１の変形例に係る撮像素子の動作タイミングを示す図である。
【図１３】第１の変形例における第２露光時間の設定例を説明する図である。
【図１４】第２の変形例における第２露光時間の設定例を説明する図である。
【図１５】第３の変形例における第２露光時間の設定例を説明する図である。
【発明を実施するための形態】
【００２４】
図１において、内視鏡システム１０は、生体内の観察部位を撮像する内視鏡１１と、撮像により得られた撮像信号に基づいて観察部位の表示画像を生成するプロセッサ装置１２と、観察部位を照射するための照明光を内視鏡１１に供給する光源装置１３と、表示画像を表示するモニタ１４とを備えている。プロセッサ装置１２には、モニタ１４の他、キーボードやマウス等の入力部１５が接続されている。
【００２５】
内視鏡１１は、生体の消化管内に挿入される挿入部１６と、挿入部１６の基端部分に設けられた操作部１７と、内視鏡１１をプロセッサ装置１２及び光源装置１３に接続するためのユニバーサルコード１８とを備えている。挿入部１６は、先端部１９、湾曲部２０、可撓管部２１で構成されており、先端側からこの順番に連結されている。
【００２６】
操作部１７には、アングルノブ２２が設けられている。アングルノブ２２は、湾曲部２０を湾曲させる操作に用いられる。このアングルノブ２２の操作により、先端部１９を所望の方向に向けることができる。
【００２７】
図２において、先端部１９の先端面には、観察部位に照明光を照射する照明窓２３と、観察部位の像を取り込むための観察窓２４と、観察窓２４を洗浄するために送気送水を行う送気送水ノズル２５と、鉗子や電気メス等の処置具を突出させて各種処置を行うための鉗子出口２６とが設けられている。観察窓２４の奥には、撮像素子３９（図３参照）が内蔵されている。
【００２８】
湾曲部２０は、連結された複数の湾曲駒で構成されており、操作部１７のアングルノブ２２の操作に応じて、上下左右方向に湾曲する。湾曲部２０を湾曲させることにより、先端部１９が所望の方向に向けられる。可撓管部２１は、可撓性を有しており、食道や腸等の曲がりくねった管道に挿入可能である。挿入部１６には、撮像素子３９を駆動するための制御信号や、撮像素子３９が出力する撮像信号を伝達する信号ケーブルや、光源装置１３から供給される照明光を照明窓２３に導光するライトガイド３５（図３参照）が挿通されている。
【００２９】
操作部１７には、アングルノブ２２の他に、処置具を挿入するための鉗子口２７、送気・送水ノズル２５から送気・送水を行う際に操作される送気・送水ボタン２８、静止画像を撮影するためのフリーズボタン（図示せず）等が設けられている。
【００３０】
ユニバーサルコード１８には、挿入部１６から延設される通信ケーブルやライトガイド３５が挿通されており、プロセッサ装置１２及び光源装置１３側の一端には、コネクタ２９が取り付けられている。コネクタ２９は、通信用コネクタ２９ａと光源用コネクタ２９ｂからなる複合タイプのコネクタである。通信用コネクタ２９ａと光源用コネクタ２９ｂとはそれぞれ、プロセッサ装置１２と光源装置１３とに着脱自在に接続される。通信用コネクタ２９ａには通信ケーブルの一端が配置されている。光源用コネクタ２９ｂにはライトガイド３５の入射端３５ａ（図３参照）が配置されている。
【００３１】
図３において、光源装置１３は、光源部３０と、光源制御部３１と、光路結合部３２とを有している。光源部３０は、青色半導体光源としてのＢ−ＬＥＤ（Blue Light Emitting Diode）３０ａと、緑色半導体光源としてのＧ−ＬＥＤ（Green Light Emitting Diode）３０ｂと、赤色半導体光源としてのＲ−ＬＥＤ（Red Light Emitting Diode）３０ｃとを含む。Ｂ−ＬＥＤ３０ａは、中心波長が約４６０ｎｍ、波長範囲が約４２０〜５００ｎｍの青色光ＬＢを発生する。Ｇ−ＬＥＤ３０ｂは、波長範囲が約４８０〜６００ｎｍの緑色光ＬＧを発生する。Ｒ−ＬＥＤ３０ｃは、中心波長が約６２０〜６３０ｎｍで、波長範囲が約６００〜６５０ｎｍの赤色光ＬＲを発生する。なお、光源部３０に、青色半導体光源、緑色半導体光源、及び赤色半導体光源に加えて、紫色半導体光源を追加してもよい。
【００３２】
光源制御部３１は、光源部３０の発光タイミング及び発光強度を制御する。光路結合部３２は、ダイクロイックミラー等により構成され、光源部３０から発せられる青色光ＬＢ、緑色光ＬＧ、及び赤色光ＬＲの光路を結合する。青色光ＬＢ、緑色光ＬＧ、及び赤色光ＬＲは、光路結合部３２により合波されて白色の照明光となる。この照明光は、入射端３５ａからライトガイド３５内に供給される。
【００３３】
内視鏡１１は、ライトガイド３５と、照明レンズ３７と、撮像光学系３８と、撮像素子３９と、信号送信部４０とを有している。なお、特許請求の範囲に記載の「照明部」は、光源部３０、光路結合部３２、ライトガイド３５、及び照明レンズ３７を含む構成に対応している。本実施形態では、照明部は、観察対象に一定光量の照明光を連続照射する。
【００３４】
ライトガイド３５は、各照明窓２３に対して１本ずつ設けられている。このライトガイド３５としては、マルチモードファイバを使用することができる。光源用コネクタ２９ｂが光源装置１３に接続されたときに、光源用コネクタ２９ｂに配置された各ライトガイド３５の入射端３５ａが光路結合部３２の出射端に対向する。
【００３５】
ライトガイド３５からの射出される照明光は、照明レンズ３７により集光され、照明窓２３を介して生体内の観察部位に照射される。この観察部位からの反射光は、観察窓２４を通して撮像光学系３８に入射し、撮像光学系３８によって撮像素子３９の撮像面３９ａに結像される。
【００３６】
撮像素子３９は、同時式のカラーセンサであり、照明光が照射された観察対象からの戻り光を受光して画像信号を出力する。この撮像素子３９は、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の色ごとに受光する。この撮像素子３９としては、ＣＭＯＳ型撮像素子が用いられる。撮像素子３９は、画像信号として、Ｂ画素信号、Ｇ画素信号、Ｒ画素信号からなるＲＧＢ画像信号を出力する。
【００３７】
信号送信部４０は、撮像素子３９により得られる撮像信号を、それぞれ周知の低電圧作動シグナリング伝送方式でプロセッサ装置１２に送信する。
【００３８】
プロセッサ装置１２は、制御部４１と、信号受信部４２と、デジタル信号処理部（ＤＳＰ：Digital Signal Processor）４３と、画像処理部４４と、表示制御部４５とを有する。制御部４１は、プロセッサ装置１２内の各部の制御と、内視鏡１１の撮像素子３９及び光源装置１３の光源制御部３１の制御を行う。
【００３９】
信号受信部４２は、内視鏡１１の信号送信部４０から送信される撮像信号を受信する。ＤＳＰ４３は、信号受信部４２により受信された撮像信号に対して、欠陥補正処理、ゲイン補正処理、ホワイトバランス処理、ガンマ変換、デモザイク（同時化）処理、ノイズ除去等の信号処理を施す。
【００４０】
画像処理部４４は、ＤＳＰ４３により信号処理が施された撮像信号に対して、色変換処理、色彩強調処理、構造強調処理等を行うことにより観察画像を生成する。
【００４１】
表示制御部４５は、画像処理部４４により生成された観察画像を、表示用形式の信号に変換してモニタ１４に表示させる。
【００４２】
図４において、撮像素子３９は、画素アレイ部５０と、読み出し走査回路５１と、第１リセット走査回路５２ａと、第２リセット走査回路５２ｂと、カラムＡＤＣ（Analog-to-digital converter）回路５３と、ラインメモリ５４と、列走査回路５５と、タイミングジェネレータ（ＴＧ：Timing generator）５６とを有する。ＴＧ５６は、プロセッサ装置１２の制御部４１から入力される撮像制御信号に基づいてタイミング信号を発生し、各部を制御する。
【００４３】
画素アレイ部５０は、複数の画素５０ａが行方向（Ｘ方向）及び列方向（Ｙ方向）にマトリクス状に２次元配列されたものであり、撮像素子３９の撮像面に設けられている。画素アレイ部５０には、行方向に沿って、行選択線ＬＳ、第１行リセット線ＬＲ１、及び第２行リセット線ＬＲ２が配されており、列方向に沿って列信号線ＬＶが配されている。
【００４４】
行選択線ＬＳは、１画素行毎に設けられている。列信号線ＬＶは、１画素列毎に設けられている。ここで、画素行とは、行方向に並んだ１行分の画素５０ａを指している。画素列とは、列方向に並んだ１列分の画素５０ａを指している。
【００４５】
画素アレイ部５０の光入射側には、図５に示すように、カラーフィルタアレイ６０が配置されている。カラーフィルタアレイ６０は、緑色（Ｇ）フィルタ６０ａ、青色（Ｂ）フィルタ６０ｂ、及び赤色（Ｒ）フィルタ６０ｃを有している。これらのフィルタのうちいずれか１つが各画素５０ａ上に配置されている。カラーフィルタアレイ６０の色配列は、ベイヤー配列である。Ｇフィルタ６０ａは、市松状に１画素おきに配置されている。残りの画素上には、Ｂフィルタ６０ｂとＲフィルタ６０ｃとがそれぞれ正方格子状となるように配置されている。
【００４６】
カラーフィルタアレイ６０は、例えば、図６に示す分光特性を有する。Ｇフィルタ６０ａは、約４５０〜６３０ｎｍの波長域に対して高い透過率を有している。Ｂフィルタ６０ｂは、約３８０〜５６０ｎｍの波長域に対して高い透過率を有している。Ｒフィルタ６０ｃは、約５８０〜７６０ｎｍの波長域に対して高い透過率を有している。
【００４７】
以下、Ｇフィルタ６０ａが配置された画素５０ａをＧ画素と称し、Ｂフィルタ６０ｂが配置された画素５０ａをＢ画素と称し、Ｒフィルタ６０ｃが配置された画素５０ａをＲ画素と称する。Ｇ画素は、緑色光ＬＧに対して感度が高い。Ｒ画素は、赤色光ＬＲに対して感度が高い。Ｂ画素は、青色光ＬＢに対して感度が高い。偶数（０，２，４，・・・，Ｎ−１）の各画素行には、Ｂ画素とＧ画素とが交互に配置されている。奇数（１，３，５，・・・，Ｎ）の各画素行には、Ｇ画素とＲ画素とが交互に配置されている。以下、偶数の画素行群を第１画素行群、奇数の画素行群を第２画素行群という。また、第１画素行群に含まれるＧ画素をＧ１画素、第２画素行群に含まれるＧ画素をＧ２画素という。
【００４８】
各画素行内の各画素５０ａは、行選択線ＬＳに共通に接続されている。また、第１画素行群の各画素行に含まれる各画素５０ａは、第１行リセット線ＬＲ１に共通に接続されている。第２画素行群の各画素行に含まれる各画素５０ａは、第２行リセット線ＬＲ２に共通に接続されている。
【００４９】
各画素５０ａは、図７に示すように、フォトダイオードＤ１と、アンプトランジスタＭ１と、画素選択トランジスタＭ２と、リセットトランジスタＭ３とを有する。フォトダイオードＤ１は、入射光を光電変換して入射光量に応じた信号電荷を生成し、これを蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷を電圧値（画素信号）に変換する。画素選択トランジスタＭ２は、行選択線ＬＳにより制御され、アンプトランジスタＭ１により生成された画素信号を列信号線ＬＶに出力させる。リセットトランジスタＭ３は、第１行リセット線ＬＲ１または第２行リセット線ＬＲ２により制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄（リセット）する。
【００５０】
読み出し走査回路５１は、ＴＧ５６から入力されるタイミング信号に基づいて、行選択信号を発生する。読み出し走査回路５１は、信号読み出し動作時に、行選択線ＬＳに行選択信号を与えることにより、行選択信号が与えられた行選択線ＬＳに接続された画素５０ａの画素信号を、列信号線ＬＶに出力させる。
【００５１】
第１リセット走査回路５２ａは、ＴＧ５６から入力されるタイミング信号に基づいて、リセット信号を発生する。第１リセット走査回路５２ａは、リセット動作時に、第１行リセット線ＬＲ１にリセット信号を与えることにより、リセット信号が与えられた第１行リセット線ＬＲ１に接続された画素５０ａをリセットする。
【００５２】
第２リセット走査回路５２ｂは、ＴＧ５６から入力されるタイミング信号に基づいて、リセット信号を発生する。第２リセット走査回路５２ｂは、リセット動作時に、第２行リセット線ＬＲ２にリセット信号を与えることにより、リセット信号が与えられた第２行リセット線ＬＲ２に接続された画素５０ａをリセットする。
【００５３】
カラムＡＤＣ回路５３には、信号読み出し動作時に列信号線ＬＶに出力された画素信号が入力される。カラムＡＤＣ回路５３は、各列信号線ＬＶにＡＤＣが接続されてなり、各列信号線ＬＶから入力される画素信号を、時間とともに階段状に変化する参照信号（ランプ波）と比較することにより、デジタル信号に変換してラインメモリ５４に出力する。
【００５４】
ラインメモリ５４は、カラムＡＤＣ回路５３によりデジタル化された１行分の画素信号を保持する。列走査回路５５は、ＴＧ５６から入力されるタイミング信号に基づいて、ラインメモリ５４を走査することにより、画素信号を出力端子Ｖｏｕｔから順に出力させる。出力端子Ｖｏｕｔから出力される１フレーム分の画素信号が前述のＲＧＢ画像信号である。
【００５５】
なお、図４には示していないが、撮像素子３９には、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）回路や、自動利得制御（ＡＧＣ；Automatic Gain Control）回路も適宜設けられる。ＣＤＳ回路は、画素５０ａから各列信号線ＬＶに出力される画素信号に相関二重サンプリング処理を行う。ＡＧＣ回路は、相関二重サンプリング処理が行われた画素信号に対してゲイン調整を行う。
【００５６】
次に、制御部４１による内視鏡システム１０の制御について説明する。図８は、撮像素子３９の動作タイミングを示す。観察を開始する際、制御部４１は、光源制御部３１を制御して、光源部３０内のＢ−ＬＥＤ３０ａ、Ｇ−ＬＥＤ３０ｂ、及びＲ−ＬＥＤ３０ｃを全て点灯させることにより、内視鏡１１の照明窓２３から白色の照明光を射出させる。光源部３０は、観察が終了するまで一定光量で連続的に点灯される。
【００５７】
そして、制御部４１は、照明窓２３から照明光が射出された状態で、撮像素子３９を制御して、ローリングシャッタ方式で撮像動作を作動させる。具体的には、まず、制御部４１は、第１リセット走査回路５２ａを駆動し、第１画素行群の画素行を順にリセットする第１リセット動作を実行させる。次に、制御部４１は、第２リセット走査回路５２ａを駆動し、第２画素行群の画素行を順にリセットする第２リセット動作を実行させる。
【００５８】
そして、制御部４１は、読み出し走査回路５１を駆動し、順次読み出し方式により、先頭画素行「０」から最終画素行「Ｎ」まで１画素行ずつ順に信号読み出しを行う読み出し動作を実行させる。また、制御部４１は、読み出し動作の実行中に第１リセット走査回路５２ａを駆動し、前述の第１リセット動作を実行させる。第１リセット動作は、読み出し動作に対して、１画素行分だけ遅延して動作する。例えば、画素行「２」のリセットは、画素行「２」の読み出しが終了し、画素行「３」の読み出しを実行している間に行われる。制御部４１は、第１リセット動作、第２リセット動作、及び読み出し動作を繰り返し実行させる。
【００５９】
第１リセット動作が開始してから読み出し動作が開始するまでの時間が、第１画素行群の電荷蓄積時間（以下、第１露光時間ＴＥ１という）である。また、第２リセット動作が開始してから読み出し動作が開始するまでの時間が、第２画素行群の電荷蓄積時間（以下、第２露光時間ＴＥ２という）である。制御部４１は、第１露光時間ＴＥ１と第２露光時間ＴＥ２とが所定の比率となるように第１リセット動作が開始してから第２リセット動作が開始するまでの時間を設定する。例えば、制御部４１は、第１露光時間ＴＥ１と第２露光時間ＴＥ２との比率を２：１とするように第１リセット走査回路５２ａと第２リセット走査回路５２ａとを制御する。
【００６０】
本実施形態では、管腔内、例えば腸管内を観察対象とする。図９は、腸管内の粘膜の分光反射率を例示する。このように、観察対象のうち粘膜等は、波長が短い光ほど反射率が小さいという特性を有する一方で、粘膜表層付近の微細構造から得られる重要な情報は、波長が短い光の戻り光が支配的である。したがって、粘膜表層付近の微細構造に関する情報を取得するには、青色光ＬＢが最も重要であり、赤色光ＬＲは殆ど寄与しない。このため、観察画像中の赤色領域においてノイズが多い状況であっても、これらのノイズは、ＤＳＰ４３におけるローパスフィルタによるノイズ除去が可能である。本実施形態では、このような特性に基づき、Ｂ画素を含む第１画素行群の第１露光時間ＴＥ１を、Ｒ画素を含む第２画素行群の第２露光時間ＴＥ２よりも長くしている。
【００６１】
以下、第１画素行群に含まれるＢ画素及びＧ１画素に基づく画素信号を、それぞれＢ画素信号及びＧ１画素信号という。また、第２画素行群に含まれるＧ２画素及びＲ画素に基づく画素信号を、それぞれＧ２画素信号及びＲ画素信号という。撮像素子３９から、Ｂ画素信号、Ｇ１画素信号、Ｇ２画素信号、及びＲ画素信号を含む撮像信号が出力され、信号送信部４０及び信号受信部４２を介してＤＳＰ４３に入力される。
【００６２】
次に、ＤＳＰ４３により行われるデモザイク処理について説明する。デモザイク処理とは、各画素について、ＲＧＢのうち足りない２色の画素信号を、周囲の画素信号から補間処理によって算出する処理である。このデモザイク処理としては、周知のものを適用可能である。
【００６３】
ＤＳＰ４３は、デモザイク処理の前に、例えば、図１０に示す前処理を、各画素について行う。具体的には、まず、ＤＳＰ４３は、Ｇ１画素について、その画素値が基準値βより大きいか否かを判定する（ステップＳ１）。ここで、基準値βは、図１１に示すように、画素値の最大値に近い値である。例えば、画素値が８ビット（０〜２５５）の値で表される場合には、最大値の２５５に対して、例えば、基準値βを２５０とする。なお、基準値βを最大値としてもよい。
【００６４】
当該Ｇ１画素の画素値が基準値βより大きい場合（ステップＳ１でＹＥＳ）には、ＤＳＰ４３は、隣接するＧ２画素の画素値に係数αを乗じた値を、当該Ｇ１画素の画素値として置き換える（ステップＳ２）。ここで、係数αは、第１露光時間ＴＥ１を第２露光時間ＴＥ２で割った値である。すなわちα＝ＴＥ１／ＴＥ２である。一方、当該Ｇ１画素の画素値が基準値β以下である場合（ステップＳ１でＮＯ）には、ステップＳ２は実行せず、当該Ｇ１画素の画素値の置き換えは行わない。
【００６５】
次に、ＤＳＰ４３は、Ｇ２画素について、その画素値に係数αを乗じた値を、当該Ｇ２画素の画素値として置き換える（ステップＳ３）。そして、ＤＳＰ４３は、Ｒ画素について、その画素値に係数αを乗じた値を、当該Ｒ画素の画素値として置き換える（ステップＳ４）。なお、Ｂ画素については、画素値の置き換えは行わない。
【００６６】
図１１に示すように、観察対象の明るさはＧ１画素及びＧ２画素の画素値にほぼ比例する。Ｇ１画素に対する第１露光時間ＴＥ１は、Ｇ２画素に対する第２露光時間ＴＥ２よりも大きいため、Ｇ１画素の画素値は飽和しやすい。管腔内体腔表面は体液等で濡れているため、鏡面反射等が生じやすい状態にある。このような観察部位からの戻り光は高輝度となるため、Ｇ１画素の画素値を飽和させ、観察画像中にハレーションを生じさせる恐れがある。
【００６７】
上記の前処理では、Ｇ１画素の画素値が基準値βより大きい場合に、該Ｇ１画素の画素値を、画素値が飽和していないＧ２画素の画素値を用いて置き換えるので、観察画像中におけるハレーションの発生を抑制することができる。すなわち、制御部４１による撮像素子３９の制御と上記の前処理とにより、撮像素子３９を含む撮像系のダイナミックレンジを拡大することができる。
【００６８】
以下に、上記実施形態の変形例について説明する。上記実施形態では、第２画素行群に対する第２露光時間ＴＥ２を全て一定値としているが、画素行を複数のグループに分け、各グループごとに第２露光時間ＴＥ２を変更してもよい。
【００６９】
例えば、図１２及び図１３に示すように、観察画像７０を、上部Ｒ１、中央部Ｒ２、及び下部Ｒ３に分け、上部Ｒ１及び下部Ｒ３と、中央部Ｒ２とで第２露光時間ＴＥ２を異ならせる。観察画像７０には、画像処理によって四隅にマスク領域７１が形成される。例えば、マスク領域７１を含む領域を上部Ｒ１及び下部Ｒ３に対応させ、その他の領域を中央部Ｒ２に対応させる。
【００７０】
観察画像７０において、通常、中央部Ｒ２が上部Ｒ１及び下部Ｒ３よりも明るくなるため、中央部Ｒ２の第２露光時間ＴＥ２を、上部Ｒ１及び下部Ｒ３の第２露光時間ＴＥ２よりも短くする。具体的には、上部Ｒ１及び下部Ｒ３の第２露光時間ＴＥ２を第１露光時間ＴＥ１と同一とし、中央部Ｒ２の第２露光時間ＴＥ２を第１露光時間ＴＥ１より短くする。この場合、前述のデモザイク処理に対する前処理は、中央部Ｒ２に対してのみ行えばよい。
【００７１】
上記の例とは逆に、中央部Ｒ２の第２露光時間ＴＥ２を、上部Ｒ１及び下部Ｒ３の第２露光時間ＴＥ２よりも長くしてもよい。例えば、図１４に示すように、腸管内などを撮影する場合には、一般に観察画像７０の中央部が遠方となり暗くなる。この場合には、中央部Ｒ２の第２露光時間ＴＥ２を第１露光時間ＴＥ１と同一とし、上部Ｒ１及び下部Ｒ３の第２露光時間ＴＥ２を第１露光時間ＴＥ１より短くすることが好ましい。この場合、デモザイク処理に対する前処理は、上部Ｒ１及び下部Ｒ３に対してのみ行えばよい。
【００７２】
また、図１５に示すように、観察画像７０中からハレーションが生じている領域７３を検出し、この領域７３の第２露光時間ＴＥ２を、その他の領域の第２露光時間ＴＥ２よりも短くすることも好ましい。この場合、前述のデモザイク処理に対する前処理は、ハレーションが生じている領域７３を含む画素行群に対してのみ行えばよい。
【００７３】
ハレーション発生領域の検出は、例えば、ＤＳＰ４３に観察画像７０の輝度ヒストグラムを求めさせ、最大輝度値を呈する画素を抽出することで求める。つまり、撮像素子３９から出力される撮像画像信号を量子化した撮像画像の最大輝度値の画素をハレーション発生領域として検出する。なお、最大輝度値に限らず、最大輝度値の付近で、例えば最大輝度値の８０％以上の画素、または９０％以上の画素を含めてハレーション発生領域としてもよい。
【００７４】
さらに、第１露光時間ＴＥ１と第２露光時間ＴＥ２との比率を一定に保ちながら、第２露光時間ＴＥ２を変更してもよい。
【００７５】
上記実施形態では、複数の半導体光源により構成された光源部３０を用いているが、これに代えて、キセノンランプ等の白色光源を用いることも可能である。
【００７６】
上記実施形態では、光源装置とプロセッサ装置とを別体構成としているが、光源装置とプロセッサ装置と１つの装置で構成しても良い。
【符号の説明】
【００７７】
１０  内視鏡システム
１１  内視鏡
１２  プロセッサ装置
１３  光源装置
１４  モニタ
１５  入力部
１６  挿入部
１７  操作部
１８  ユニバーサルコード
１９  先端部
２０  湾曲部
２１  可撓管部
２２  アングルノブ
２３  照明窓
２４  観察窓
２５  送水ノズル
２６  鉗子出口
２７  鉗子口
２８  送水ボタン
２９  コネクタ
２９ａ  通信用コネクタ
２９ｂ  光源用コネクタ
３０  光源部
３０ａ  Ｂ−ＬＥＤ
３０ｂ  Ｇ−ＬＥＤ
３０ｃ  Ｒ−ＬＥＤ
３１  光源制御部
３２  光路結合部
３５  ライトガイド
３５ａ  入射端
３７  照明レンズ
３８  撮像光学系
３９  撮像素子
３９ａ  撮像面
４０  信号送信部
４１  制御部
４２  信号受信部
４３  デジタル信号処理部
４４  画像処理部
４５  表示制御部
５０  画素アレイ部
５０ａ  画素
５１  読み出し走査回路
５２ａ  第１リセット走査回路
５２ｂ  第２リセット走査回路
５３  カラムＡＤＣ回路
５４  ラインメモリ
５５  列走査回路
５６  タイミングジェネレータ
６０  カラーフィルタアレイ
６０ａ  緑色フィルタ
６０ｂ  青色フィルタ
６０ｃ  赤色フィルタ
７０  観察画像
７１  マスク領域
７３  領域
Ｄ１  フォトダイオード
ＬＢ  青色光
ＬＧ  緑色光
ＬＲ  赤色光
ＬＳ  行選択線
ＬＶ  列信号線
Ｍ１  アンプトランジスタ
Ｍ２  画素選択トランジスタ
Ｍ３  リセットトランジスタ
Ｒ１  上部
Ｒ２  中央部
Ｒ３  下部
【図１】
2019042275.tif 000003
【図２】
2019042275.tif 000004
【図３】
2019042275.tif 000005
【図４】
2019042275.tif 000006
【図５】
2019042275.tif 000007
【図６】
2019042275.tif 000008
【図７】
2019042275.tif 000009
【図８】
2019042275.tif 000010
【図９】
2019042275.tif 000011
【図１０】
2019042275.tif 000012
【図１１】
2019042275.tif 000013
【図１２】
2019042275.tif 000014
【図１３】
2019042275.tif 000015
【図１４】
2019042275.tif 000016
【図１５】
2019042275.tif 000017