(57)【要約】  本発明にかかる内視鏡システム１は、異なる色の照明光をフレーム周期に対応させて順次発する光源装置４と、照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子２５を有する内視鏡２と、撮像素子２５から出力された画像信号のうち、照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を撮像素子２５における画素配列のラインごとに演算する色成分演算部３１ａを有する処理装置３と、を有する。
2016114231.tif 000002
【特許請求の範囲】
【請求項１】
被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、
前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、
前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、
を有することを特徴とする内視鏡システム。
【請求項２】
前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記処理装置は、前記光源装置に対し、１ライン露光期間ごとに、１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする請求項２に記載の内視鏡システム。
【請求項４】
前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、
前記色成分演算部は、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする請求項３に記載の内視鏡システム。
【請求項５】
前記光源装置は、３色の照明光を照明し、
前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする請求項４に記載の内視鏡システム。
【請求項６】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする請求項５に記載の内視鏡システム。
【請求項７】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの２色の照明光を照明させることを特徴とする請求項５に記載の内視鏡システム。
【請求項８】
前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする請求項７に記載の内視鏡システム。
【請求項９】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする請求項５に記載の内視鏡システム。
【請求項１０】
前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする請求項９に記載の内視鏡システム。
【請求項１１】
前記処理装置は、
前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、
前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、
をさらに備え、
前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする請求項７に記載の内視鏡システム。
【請求項１２】
前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする請求項５に記載の内視鏡システム。
【請求項１３】
前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
【請求項１４】
前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする請求項１３に記載の内視鏡システム。
【請求項１５】
前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
【請求項１６】
被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、
前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、
前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、
を備えたことを特徴とする処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡を備えた内視鏡システムおよび内視鏡から出力された画像信号を処理する処理装置に関する。
【背景技術】
【０００２】
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から、光源装置から供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。【０００３】
このような内視鏡システムが有する撮像素子にＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）センサを適用するとともに、被写体に対する照明光として青色光、緑色光および赤色光を順次照射し、この三色の光に対応する撮像信号を順次生成する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２０２１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＣＭＯＳセンサは、水平ラインごとにタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する。このＣＭＯＳセンサにおいて、全画素に対して十分な露光期間を確保するためには、全ての水平ラインで共通して露光させることが可能な期間（Ｖブランク期間）の比率を上げることが必要となる。しかしながら、Ｖブランク期間の比率を上げた場合には、その分だけ、信号伝送用の期間が減り、ＣＭＯＳセンサからの高速読み出しが必要となるため、撮像ケーブルでの高速伝送が必要となり、伝送負担が大きくなるという問題があった。【０００６】
本発明は、上記に鑑みてなされたものであって、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる内視鏡システムおよび処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡システムは、被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、を有することを特徴とする。【０００８】
また、本発明にかかる内視鏡システムは、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする。【０００９】
また、本発明にかかる内視鏡システムは、前記処理装置は、前記光源装置に対し、１ライン露光期間ごとに、１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする。【００１０】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、前記色成分演算部は、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする。【００１１】
また、本発明にかかる内視鏡システムは、前記光源装置は、３色の照明光を照明し、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする。【００１２】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする。【００１３】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの２色の照明光を照明させることを特徴とする。【００１４】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする。【００１５】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする。【００１６】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする。【００１７】
また、本発明にかかる内視鏡システムは、前記処理装置は、前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、をさらに備え、前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする。【００１８】
また、本発明にかかる内視鏡システムは、前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする。【００１９】
また、本発明にかかる内視鏡システムは、前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする。【００２０】
また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする。【００２１】
また、本発明にかかる内視鏡システムは、前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする。【００２２】
また、本発明にかかる処理装置は、被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、を備えたことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、撮像素子から出力された画像信号のうち、照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて、取得対象のフレームの各色成分の画像信号をラインごとに演算処理によって求めているため、Ｖブランク期間を設けずとも全画素を十分な期間で露光することができ、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。
【図２】図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。
【図３】図３は、図２に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
【図４】図４は、図２に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
【図５】図５は、本実施の形態１で求める画像信号の解の一意性を説明する図である。
【図６】図６は、実施の形態１の変形例１における撮像素子におけるＮＢＩ観察方式の場合における露光、読み出しタイミングを示すタイミングチャートである。
【図７】図７は、実施の形態１の変形例１における撮像素子におけるＮＢＩ観察方式の場合における露光、読み出しタイミングの他の例を示すタイミングチャートである。
【図８】図８は、実施の形態１における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
【図９】図９は、実施の形態２にかかる内視鏡システムの構成を模式的に示すブロック図である。
【図１０】図１０は、図９に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
【図１１】図１１は、図９に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
【図１２】図１２は、本実施の形態２で求める画像信号の解の一意性を説明する図である。
【図１３】図１３は、本実施の形態２で求める画像信号の解の一意性を説明する図である。
【図１４】図１４は、実施の形態２における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
【図１５】図１５は、実施の形態３にかかる内視鏡システムの構成を模式的に示すブロック図である。
【図１６】図１６は、図１５に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。
【図１７】図１７は、図１５に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。
【図１８】図１８は、本実施の形態３で求める画像信号の解の一意性を説明する図である。
【図１９】図１９は、本実施の形態３で求める画像信号の解の一意性を説明する図である。
【図２０】図２０は、実施の形態３における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
【発明を実施するための形態】
【００２５】
以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態１にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡２（スコープ）と、着脱自在に内視鏡２が装着されて内視鏡２から送信される画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３（信号処理装置）と、内視鏡２の照明光（観察光）を生成する光源装置４と、処理装置３が画像処理を施した画像信号に対応する画像を表示する表示装置５と、を備える。
【００２７】
内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。
【００２８】
挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２１ａと、複数の湾曲駒によって構成された湾曲自在な湾曲部２１ｂと、湾曲部２１ｂの基端部側に設けられた可撓性を有する可撓管部２１ｃと、を有する。先端部２１ａには、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部２１ｄおよび送気・送水用ノズル（図示せず）が設けられている。
【００２９】
操作部２２は、湾曲部２１ｂを上下方向および左右方向に湾曲させる湾曲ノブ２２ａと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２ｂと、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２ｃと、を有する。処置具挿入部２２ｂから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部２１ｄから表出する。
【００３０】
ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐した処理装置３および光源装置４に着脱自在なコネクタ２３ａ，２３ｂを有する。ユニバーサルコード２３は、先端部２１ａに設けられた撮像部が撮像した画像信号を、コネクタ２３ａを介して、処理装置３に伝送する。ユニバーサルコード２３は、光源装置４から出射された照明光を、コネクタ２３ｂ、操作部２２および可撓管部２１ｃを介して先端部２１ａに伝播する。
【００３１】
処理装置３は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２１ａにおける撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置３は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２ｃから送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。
【００３２】
光源装置４は、複数の波長帯域（色）の光を出射する光源や集光レンズ等を用いて構成される。光源装置４は、光源から出射された光を、コネクタ２３ｂおよびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。光源は、例えば、赤色（Ｒ）光、緑色（Ｇ）光および青色（Ｂ）光の光を発する。
【００３３】
表示装置５は、液晶または有機ＥＬ（Electro  Luminescence）を用いた表示ディスプレイ等を用いて構成される。表示装置５は、映像ケーブルを介して処理装置３によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置５が表示する画像（体内画像）を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
【００３４】
つぎに、図１で説明した内視鏡システム１の構成について説明する。図２は、図１に示す内視鏡システム１の構成を模式的に示すブロック図である。
【００３５】
内視鏡２は、先端部２１ａに、光学系２４および撮像素子２５を有する。先端部２１ａには、光源装置４から、コネクタ２３ｂを経由して、延伸するライトガイドケーブル２３ｃの先端が位置する。ライトガイドケーブル２３ｃの先端には、照明レンズ２１ｅが設けられる。光源装置４から発せられた光は、ライトガイドケーブル２３ｃを介して、挿入部２１の先端部２１ａの照明窓２１ｆから被写体に照明される。
【００３６】
光学系２４は、撮像素子２５の前段に設けられた一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
【００３７】
撮像素子２５は、受光部２６および読み出し部２７を有する。撮像素子２５は、水平ラインごとの露光かつ読み出しが可能であるＣＭＯＳ撮像素子である。
【００３８】
受光部２６は、受光面に複数の画素が行列状に配置される。各画素は、光が照射された被写体からの光を受光し、受光した光を光電変換して画素信号（画像信号）を生成する。受光部２６の受光面側には、光学系２４が配置される。
【００３９】
読み出し部２７は、受光部２６の複数の画素が生成した画像信号を読み出す。読み出し部２７は、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画像信号を生成する。したがって、撮像素子２５においては、１つの撮像期間（フレーム）であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。言い換えると、１水平ラインの画素群を露光している期間（１ライン露光期間）は、いずれの水平ラインにおいても同じ時間幅であるが、水平ラインごとに始点と終点とがずれている。読み出し部２７が読み出した画像信号は、電気信号（アナログ）である。撮像素子２５は、読み出し部２７が読み出した画像信号の電気信号に対してノイズ除去やＡ／Ｄ変換などを行うＡＦＥ部（不図示）や、処理装置３から受信した制御信号にしたがって撮像素子２５の動作を制御する制御部（不図示）を有する。撮像素子２５が生成した画像信号（デジタル）は、信号ケーブル（不図示）やコネクタ２３ａを介して、処理装置３に出力される。
【００４０】
処理装置３は、画像処理部３１と、表示制御部３２と、調光部３３と、制御部３４と、入力部３５と、記憶部３６とを備える。
【００４１】
画像処理部３１は、撮像素子２５の読み出し部２７によって読み出された画像信号に対し、所定の画像処理を行う。画像処理部３１は、色成分演算部３１ａと、撮像素子２５から読み出された画像信号をフレーム単位で一時的に保持できる書き換え可能なメモリ３１ｂと、ゲイン調整部３１ｃと、ホワイトバランス（ＷＢ）調整部３１ｄと、同時化部３１ｅとを有する。画像処理部３１は、オプティカルブラック減算処理、エッジ強調処理を行う場合もある。
【００４２】
色成分演算部３１ａは、内視鏡２の撮像素子２５から出力された画像信号のうち、照明光の波長帯域（色）の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を水平ラインごとに演算する。色成分演算部３１ａは、撮像素子２５から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算する。色成分演算部３１ａは、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、水平ラインごとに各色成分信号を演算する。Ｒ，Ｇ，Ｂの３色の照明光が照明される場合には、色成分演算部３１ａは、連続する３フレームにおいて、Ｒ光を照射された被写体からのＲ光のみを受光部２６が受光した際のＲ画像信号、Ｇ光を照射された被写体からのＧ光のみを受光部２６が受光した際のＧ画像信号、および、Ｂ光を照射された被写体からのＢ光のみを受光部２６が受光した際のＢ画像信号を、水平ラインごとに生成する。
【００４３】
ゲイン調整部３１ｃは、後述する調光部３３によって算出されたゲイン調整値、および、後述する照明制御部３４ａによって設定されたＲ，Ｇ，Ｂの３色の照明光の各照明期間をもとに、色成分演算部３１ａから出力された各色の色成分信号であるＲ，Ｇ，Ｂ画像信号のゲイン調整を行う。
【００４４】
ＷＢ調整部３１ｄは、色成分演算部３１ａから出力された各色成分であるＲ，Ｇ，Ｂ画像信号のホワイトバランスを調整する。
【００４５】
同時化部３１ｅは、入力された各Ｒ，Ｇ，Ｂ画像信号を画素ごとに設けられたメモリ（図示しない）に入力し、読み出し部２７が読み出した受光部２６の画素のアドレスに対応させて、各メモリの値を入力された各画像信号で順次更新しながら保持するとともに、これら３つのメモリの各画像信号をＲＧＢ画像信号として同時化する。
【００４６】
表示制御部３２は、画像処理部３１から出力されたＲＧＢ画像信号を、表示装置５に対応させて階調変換するとともに、表示装置５に対応するフォーマットに変更した表示用画像信号を生成して表示装置５に出力する。この結果、表示装置５には、１枚の体内画像が表示される。
【００４７】
調光部３３は、画像処理部３１に入力された画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルをもとに、この画像信号に対するゲイン調整値を算出する。調光部３３は、検出した明るさレベルをもとに、次に発せられる照明光における光照射量を調光条件として算出する。調光部３３は、算出したゲイン調整値をゲイン調整部３１ｃに出力し、検出した明るさレベルとともに調光条件を制御部３４に出力する。
【００４８】
制御部３４は、ＣＰＵ等を用いて実現される。制御部３４は、処理装置３の各部の処理動作を制御する。制御部３４は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３４は、各ケーブルを介して撮像素子２５および光源装置４にそれぞれに接続されており、撮像素子２５および光源装置４に対する制御も行う。制御部３４は、照明制御部３４ａを有する。
【００４９】
照明制御部３４ａは、調光部３３から出力された調光条件をもとに光源装置４の各色の照明期間および照明強度を設定する。実施の形態１では、照明制御部３４ａは、照明光の照明強度を一定とし、照明期間を設定する。照明制御部３４ａは、各光源に供給する電流量や電流供給期間等の駆動条件を設定して、設定条件を含む光源同期信号を光源装置４に出力する。照明制御部３４ａは、光源装置４が発する光の種別、光量、照明タイミングを設定する。照明制御部３４ａは、光源装置４に対し、先頭の水平ライン１における露光期間（１ライン露光期間）ごとに、１ライン露光期間以下の期間で照明光を照明させる制御を行う。なお、照明制御部３４ａは、撮像素子２５の出力値が飽和しない条件で、照射時間、照射強度を設定する。照明制御部３４ａは、撮像素子２５の出力値が飽和する手前の照射時間、照射強度を設定し、ゲイン調整部３１ｃは、マイナスゲインで画像信号をゲイン調整してもよい。
【００５０】
入力部３５は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部３５は、被検体情報（例えばＩＤ、生年月日、名前等）、内視鏡２の識別情報（例えばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。
【００５１】
記憶部３６は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置３および光源装置４を動作させるための各種プログラムを記憶する。記憶部３６は、処理装置３の処理中の情報を一時的に記録する。記憶部３６は、読み出し部２７によって読み出された画像信号を記憶する。また、記憶部３６は、画像処理部３１において処理された画像信号を記憶する。
【００５２】
光源装置４は、光源制御部４１と、光源ドライバ４３および光源４４を備えた照明部４２とを有する。
【００５３】
光源制御部４１は、照明制御部３４ａの制御のもと、光源４４の照明光の照明処理を制御する。照明部４２の光源ドライバ４３は、光源制御部４１の制御のもと、光源４４に所定の電力を供給する。照明部４２の光源４４は、内視鏡２に供給する照明光として、複数の波長帯域（色）の光を発する。光源４４は、例えば、赤色ＬＥＤ、緑色ＬＥＤ、青色ＬＥＤ等の光源と集光レンズなどの光学系とを用いて構成され、Ｒ、ＧおよびＢの波長帯域（例えば、Ｒ：６００ｎｍ〜７００ｎｍ、Ｇ：５００ｎｍ〜６００ｎｍ、Ｂ：４００ｎｍ〜５００ｎｍ）の光を発する。光源４４から発せられた光は、ライトガイドケーブル２３ｃによって、コネクタ２３ｂおよびユニバーサルコード２３を経由し、挿入部２１の先端部２１ａの照明レンズ２１ｅを介して照明窓２１ｆから被写体に照明される。なお、照明窓２１ｆ近傍には、撮像素子２５が配置される。また、光源４４は、白色光ＬＥＤと、Ｒ光、Ｇ光およびＢ光それぞれの波長帯域を有する光を透過させる赤色フィルタ、緑色フィルタおよび青色フィルタを有する回転フィルタとの組み合わせであってもよい。
【００５４】
図３は、処理装置３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図３に示すように、まず、調光部３３から制御部３４の照明制御部３４ａに、次に照射させる照明光の調光条件が入力される調光条件入力処理が行なわれる（ステップＳ１）。照明制御部３４ａは、入力された調光条件にしたがって、次に照射させる照明光の照明条件を設定し、設定した照明条件で光源装置４に照明光を照明させる照明制御処理を行う（ステップＳ２）。照明制御部３４ａは、いずれの色の照明光も照明強度は一定とした上で、次に照射させる照明光の色と照明期間とを設定する。これとともに、制御部３４は、内視鏡２の撮像素子２５に対して、露光および画像信号の読み出しを行う画像信号読み出し処理を先頭の水平ラインから順次実行させる画像信号読み出し処理を行う（ステップＳ３）。
【００５５】
画像処理部３１の色成分演算部３１ａが、撮像素子２５から出力された画像信号を含む連続する複数のフレームの画像信号の出力値を用いて、各色成分信号を水平ラインごとに演算する色成分演算処理を行う（ステップＳ４）。色成分演算部３１ａは、全水平ラインに対して各色成分信号を演算し、フレーム単位で各色成分信号を出力する。その後、画像処理部３１は、色成分演算部３１ａが出力した各色成分信号に対し、ゲイン調整処理、ホワイトバランス調整処理、同時化処理を行って、１フレームのＲＧＢ画像信号を生成する画像信号処理を行う（ステップＳ５）。なお、画像処理部３１は、ステップＳ５において、オプティカルブラック減算処理、エッジ強調処理等の画像信号処理を行う場合もある。
【００５６】
次に図４を参照して、図３に示す各処理について説明する。図４は、図２に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図４には、撮像素子２５の露光、読み出しタイミング（図４の（１）に対応して撮像素子２５から読み出される画像信号（図４の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図４の（３）〜（５））についても示している。なお、図４の（３）〜（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
【００５７】
照明制御部３４ａは、ステップＳ１において入力された調光条件を基に、光源装置４に対し、Ｒ光、Ｇ光、Ｂ光のうちの１色の光を１ライン露光期間内の１ライン露光期間以下の期間で照明させる照明処理を順次実行させる照明制御処理を行う（ステップＳ２）。照明制御部３４ａは、いずれの色の光についても、撮像素子２５における各フレームの１ライン露光期間の終了タイミングと同じタイミングで消灯させる。照明制御部３４ａは、照明開始時間については、調光条件に従い各１ライン露光期間内で調整する。図４の例では、照明制御部３４ａは、光源装置４に、１ライン露光期間ごとに、Ｇ光、Ｂ光、Ｒ光の順で順次照明させ、いずれの光も各フレームの１ライン露光期間の終了時間で消灯させる。
【００５８】
具体的には、フレーム１の１ライン露光期間（時間Ｔ０〜Ｔ１）では、期間Ｌｇ１がＧ光の照明期間となり、フレーム２の１ライン露光期間（時間Ｔ１〜Ｔ２）では、期間Ｌｂ２がＢ光の照明期間となり、フレーム３の１ライン露光期間（時間Ｔ２〜Ｔ３）では、期間Ｌｒ３がＲ光の照明期間となり、フレーム４の１ライン露光期間（時間Ｔ３〜Ｔ４）では、期間Ｌｇ４がＧ光の照明期間となり、フレーム５の１ライン露光期間（時間Ｔ４〜Ｔ５）では、期間Ｌｂ５がＢ光の照明期間とされる。光源装置４は、いずれのフレームにおいても、各フレームの１ライン露光期間の終了時間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５で、各光を消灯する。
【００５９】
次に、図３の画像信号読み出し処理（ステップＳ３）について説明する。本内視鏡システム１では、撮像素子２５として、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用するＣＭＯＳ撮像素子を採用しており、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しを行う。
【００６０】
具体的には、図４の（１）の例では、フレーム１では、先頭の水平ライン１については、時間Ｔ０〜Ｔ１まで露光されてから時間Ｔ１で画素信号が読み出される。以降の水平ラインの画素については、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しが行われる。したがって、フレーム１では、時間Ｔ１〜Ｔ２の間に先頭から順に各水平ラインの画素信号が読み出されることによって、フレーム１の画像信号Ｆ１が出力される（図４の（２）参照）。フレーム２では、時間Ｔ２〜Ｔ３の間に各水平ラインの画素信号が順に読み出されることによって、フレーム２の画像信号Ｆ２が出力される。同様に、フレーム３では、時間Ｔ３〜Ｔ４の間の読み出し処理によってフレーム３の画像信号Ｆ３が出力され、フレーム４では、時間Ｔ４〜Ｔ５の間の読み出し処理によってフレーム４の画像信号Ｆ４が出力され、フレーム５では、時間Ｔ５〜Ｔ６の間の読み出し処理によってフレーム５の画像信号Ｆ５が出力される。
【００６１】
このように、撮像素子２５においては、水平ラインごとに露光および読み出しのタイミングが異なるため、各フレームの画像信号Ｆ１〜Ｆ５の各出力値は、水平ラインによって、照明される光の色、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。また、Ｒ，Ｇ，Ｂ光は、各フレームの１ライン露光期間ごとに１色ずつ順次照明されるように制御されるため、各Ｒ，Ｂ，Ｇ光の露光期間は、連続する３フレームに渡って分散している。そこで、図３の色成分演算処理（ステップＳ４）においては、色成分演算部３１ａは、水平ラインごとに、連続する３フレームの各フレームにおける１ライン露光期間あたりの各色の照明期間と、各フレームにおける演算対象の水平ラインへの各色の露光期間との関係を勘案しながら、撮像素子２５から画像信号が出力された最新のフレームを含む連続する３フレーム分の画像信号から取得対象の色成分の信号を抽出することによって、取得対象の色成分の信号を求めている。なお、被写体は動作していない前提である。また、色成分演算部３１ａが演算で使用する複数のフレームの画像信号は、メモリ３１ｂに一時的に保持されている。
【００６２】
実施の形態１では、連続するフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎの出力画像信号Ｆ（ｋ−３）ｎ，Ｆ（ｋ−２）ｎ，Ｆ（ｋ−１）ｎの値と、連続するフレーム（ｋ−３）〜（ｋ−１）の各１ライン露光期間における各色の照明期間およびフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎへの各色の露光期間とに基づく行列Ａｋと、演算上のフレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）との関係を示す３元一次連立方程式（（１）式）が成立する。
【００６３】
【数１】
2016114231.tif 000003
【００６４】
このため、演算上のフレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）を求めるためには、（１）式を変形した（２）式の逆行列Ａｋ−１を求めて、（２）式を解けばよい。すなわち、色成分演算部３１ａは、撮像素子２５から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を（２）式に適用して、演算対象のラインにおける各色成分信号を演算する。
【００６５】
【数２】
2016114231.tif 000004
【００６６】
例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ４ｎ（Ｒ）、Ｇ画像信号Ｆ４ｎ（Ｇ）、Ｂ画像信号Ｆ４ｎ（Ｂ）については、以下の（３）式に、フレーム１〜３の画像信号Ｆ１ｎ，Ｆ２ｎ，Ｆ３ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ１参照）。（３）式では、連続するフレーム２，３のそれぞれの１ライン露光期間におけるＢ，Ｒ光の照明期間Ｌｂ２，Ｌｒ３と、フレーム１〜３における水平ラインｎへのＧ光の露光期間ｇ１，ｇ３、Ｂ光の露光期間ｂ１，ｂ２およびＲ色の露光期間ｒ２，ｒ３と、が行列Ａ４のパラメータとなる。
【００６７】
【数３】
2016114231.tif 000005
【００６８】
色成分演算部３１ａは、水平ラインｎに対応するＲ色の露光期間ｒ２，ｒ３、Ｇ光の露光期間ｇ１，ｇ３、Ｂ光の露光期間ｂ１，ｂ２を行列Ａ４のパラメータとして適用し、画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの水平ラインｎの出力値を入力した（３）式を解く演算処理を行う。この結果、色成分演算部３１ａは、４フレーム目の水平ラインｎに対応する照明期間Ｌｒ３にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ４ｎ（Ｒ）、期間（ｇ１＋ｇ３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ４ｎ（Ｇ）、照明期間Ｌｂ２にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ４ｎ（Ｂ）を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ４のパラメータとして用い、演算対象の水平ラインｎの画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、４フレーム目のＲ画像信号Ｆ４（Ｒ）、Ｇ画像信号Ｆ４（Ｇ）、Ｂ画像信号Ｆ４（Ｂ）をフレーム単位で取得することができる。以下、（３）式における行列Ａ４の１行目の成分から成る行ベクトル（ｒ３／Ｌｒ３，ｇ３／（ｇ１＋ｇ３），０）をＲａ、２行目の成分から成る行ベクトル（ｒ２／Ｌｒ３，０，ｂ２／Ｌｂ２）をＲｂ、３行目の成分から成る行ベクトル（０，ｇ１／（ｇ１＋ｇ３），ｂ１／Ｌｂ２）をＲｃという。
【００６９】
５フレーム目の水平ラインｎのＲ画像信号Ｆ５ｎ（Ｒ）、Ｇ画像信号Ｆ５ｎ（Ｇ）、Ｂ画像信号Ｆ５ｎ（Ｂ）については、以下の（４）式に、フレーム２〜４の画像信号Ｆ２ｎ，Ｆ３ｎ，Ｆ４ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ２参照）。（４）式では、連続するフレーム３，４のそれぞれの１ライン露光期間におけるＲ，Ｇ光の照明期間Ｌｒ３，Ｌｇ４、およびフレーム２〜４における水平ラインｎへのＲ色の露光期間ｒ２，ｒ３、Ｇ光の露光期間ｇ３，ｇ４、Ｂ光の露光期間ｂ２，ｂ４が行列Ａ５のパラメータとなる。
【００７０】
【数４】
2016114231.tif 000006
【００７１】
色成分演算部３１ａは、水平ラインｎに対応するＲ色の露光期間ｒ２，ｒ３、Ｇ光の露光期間ｇ３，ｇ４、Ｂ光の露光期間ｂ２，ｂ４を行列Ａ５のパラメータとして適用し、画像信号Ｆ４ｎ，Ｆ３ｎ，Ｆ２ｎの水平ラインｎの出力値を入力した（４）式を解く演算処理を行う。この結果、色成分演算部３１ａは、５フレーム目の水平ラインｎに対応する照明期間Ｌｒ３にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ５ｎ（Ｒ）、照明期間Ｌｇ４にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ５ｎ（Ｇ）、期間（ｂ２＋ｂ４）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ５ｎ（Ｂ）を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ５のパラメータとして用い、演算対象の水平ラインの画像信号Ｆ４ｎ，Ｆ３ｎ，Ｆ２ｎの出力値を入力した（４）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、５フレーム目のＲ画像信号Ｆ５（Ｒ）、Ｇ画像信号Ｆ５（Ｇ）、Ｂ画像信号Ｆ５（Ｂ）をフレーム単位で取得することができる。
【００７２】
６フレーム目の水平ラインｎのＲ画像信号Ｆ６ｎ（Ｒ）、Ｇ画像信号Ｆ６ｎ（Ｇ）、Ｂ画像信号Ｆ６ｎ（Ｂ）については、以下の（５）式に、フレーム３〜５の画像信号Ｆ３ｎ，Ｆ４ｎ，Ｆ５ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ３参照）。（５）式では、連続するフレーム４，５のそれぞれの１ライン露光期間におけるＧ，Ｂ光の照明期間Ｌｇ４，Ｌｂ５、およびフレーム３〜５における水平ラインｎへのＲ色の露光期間ｒ３，ｒ５、Ｇ光の露光期間ｇ３，ｇ４、Ｂ光の露光期間ｂ４，ｂ５が行列Ａ６のパラメータとなる。
【００７３】
【数５】
2016114231.tif 000007
【００７４】
色成分演算部３１ａは、水平ラインｎに対応するＲ光の露光期間ｒ３，ｒ５、Ｇ光の露光期間ｇ３，ｇ４、Ｂ光の露光期間ｂ４，ｂ５を行列Ａ６のパラメータとして適用し、画像信号Ｆ５ｎ，Ｆ４ｎ，Ｆ３ｎの水平ラインｎの出力値を入力した（５）式を解く演算処理を行う。この結果、色成分演算部３１ａは、6フレーム目の水平ラインｎに対応する照明期間（ｒ３＋ｒ５）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ６ｎ（Ｒ）、照明期間Ｌｇ４にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ６ｎ（Ｇ）、照明期間Ｌｂ５にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ６ｎ（Ｂ）を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ６のパラメータとして用い、演算対象の水平ラインの画像信号Ｆ５ｎ，Ｆ４ｎ，Ｆ３ｎの出力値を入力した（５）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、６フレーム目のＲ画像信号Ｆ６（Ｒ）、Ｇ画像信号Ｆ６（Ｇ）、Ｂ画像信号Ｆ６（Ｂ）をフレーム単位で取得することができる。
【００７５】
７フレーム以降についても、３フレーム単位で（３）式〜（５）式を順次用いて各水平ラインｎの各色成分の画像信号を演算すればよい。（３）式〜（５）式の行列Ａｋについては、各パラメータのフレーム番号を３ずつ加算し、各水平ラインｎごとに行列Ａｋの逆行列Ａｋ−１を演算して、水平ラインｎごとに各色成分の画像信号を取得する。
【００７６】
なお、本実施の形態１で用いる関係式中の行列Ａｋの階数について説明する。図５は、本実施の形態１で求める画像信号の解の一意性を説明する図であり、（３）式の行ベクトルＲａ，Ｒｂ，ＲｃをＲ，Ｇ，Ｂ空間で見た場合を示す図である。行ベクトルＲａは、Ｒ−Ｇ平面上のベクトルであって、水平ライン１に対応する位置Ｒａ１から、ライン番号が進むにしたがって位置Ｒｃ１に向かって進む軌跡ＰＲａを描く。行ベクトルＲｂは、Ｂ−Ｒ平面上のベクトルであって、水平ライン１に対応する位置Ｒｂ１から、ライン番号が進むにしたがって位置Ｒａ１に向かって進む軌跡ＰＲｂを描く。行ベクトルＲｃは、Ｇ−Ｂ平面上のベクトルであって、水平ライン１に対応する位置Ｒｃ１から、ライン番号が進むにしたがって位置Ｒｂ１に向かって進む軌跡ＰＲｃを描く。これらの行ベクトルＲａ，Ｒｂ，Ｒｃは、図５のように、Ｒ−Ｇ平面、Ｂ−Ｒ平面、Ｇ−Ｂ平面の各平面上でそれぞれ異なる軌跡ＰＲａ，ＰＲｂ，ＰＲｃを描く関係であるため、いずれの行ベクトルＲａ〜Ｒｃについても２つの行ベクトルが同時にＲ，Ｇ，Ｂ軸上で重複することもない。
【００７７】
したがって、行ベクトルＲａ〜Ｒｃは常に一次独立であるため、行列Ａｋは、階数（ランク）３となり、（３）式の解は一意に定まる。したがって、Ｒ，Ｇ，Ｂの照明期間が同一である場合、異なる場合のいずれにおいても、（３）式の解は必ず一意に定まるため、各Ｒ画像信号Ｆ４ｎ（Ｒ）、Ｇ画像信号Ｆ４ｎ（Ｇ）、Ｂ画像信号Ｆ４ｎ（Ｂ）の値を演算において求めることができる。（４）式、（５）式も同様であるため、いずれのフレームの色成分信号についても一意に求めることができる。
【００７８】
上述の色成分演算処理（ステップＳ４）では、１フレームでＲ，Ｇ，Ｂ画像信号のいずれもが色成分信号として演算され、画像信号処理（ステップＳ５）では、これらのＲ，Ｇ，Ｂ画像信号に対して所定の画像信号処理が実行される。このうち同時化処理において、同時化部３１ｅは、このＲ，Ｇ，Ｂ画像信号のうち、演算で使用した連続する３フレームのうちの最後のフレームの読み出し期間に最も近い露光期間で露光される色の画像信号を採用する。そして、３フレーム単位で、各フレームで１色ずつ採用された画像信号をもとに同時化処理を行う。例えば、４フレーム目では、フレーム３における読み出し期間Ｔ３〜Ｔ４に最も近い露光期間Ｌｒ３に対応するＲ画像信号Ｆ４（Ｒ）を採用し、５フレーム目では、フレーム４における読み出し期間Ｔ４〜Ｔ５に最も近い露光期間Ｌｇ４に対応するＧ画像信号Ｆ５（Ｇ）を採用し、６フレーム目では、フレーム５における読み出し期間Ｔ５〜Ｔ６に最も近い露光期間Ｌｂ５に対応するＢ画像信号Ｆ６（Ｂ）を採用し、採用したＲ画像信号Ｆ４（Ｒ）、Ｇ画像信号Ｆ５（Ｇ）、Ｂ画像信号Ｆ６（Ｂ）を用いて、同時化処理を行ってＲＧＢ画像信号を生成する。もちろん、同時化部３１ｅは、同フレームのＲ，Ｇ，Ｂ画像信号を用いて同時化処理を行い、１フレームごとにＲＧＢ画像信号を生成してもよい。
【００７９】
このように、実施の形態１では、処理装置３における色成分演算部３１ａにおいて、複数の連続したフレームの画像信号の出力値を用いた演算によって、取得対象のフレームの各色成分の画像信号を水平ラインごとに抽出している。したがって、実施の形態１によれば、各照明光の露光期間を１ライン露光期間の中で自由に設定することができるため、全画素に対して十分な露光期間を確保でき、撮像素子２５の感度を維持できる。また、本実施の形態１では、色成分演算部３１ａが演算処理によって取得対象のフレームの各色成分の画像信号を抽出していることから、全ての水平ラインで共通して露光させる期間（Ｖブランク期間）を設けずともよいため、信号伝送用の期間も十分に確保できる。したがって、実施の形態１によれば、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。
【００８０】
（実施の形態１の変形例１）
実施の形態１は、Ｒ，Ｇ，Ｂの３色の照明光を順次切り替える面順次方式に限らず、例えば血液中のヘモグロビンに吸収されやすくなるように狭帯域化された青色光および緑色光の２種の帯域のＮＢＩ（Narrow  Band  Imaging）照明光を用いて観察するＮＢＩ観察方式にも適用可能である。ＮＢＩ観察方式の場合には、光源装置４は、照明制御部３４ａの制御に従い、狭帯域化された青色光（Ｖ光）と狭帯域化されたＧ光を順次切り替えて照射する。Ｖ光の波長帯域は、例えば、波長３９０〜４７０ｎｍである。
【００８１】
図６は、ＮＢＩ観察方式の場合における、撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図６には、撮像素子２５の露光、読み出しタイミング（図６の（１））に対応して撮像素子２５から読み出される画像信号（図６の（２））、該画像信号を基に生成されるＶ、Ｇ画像信号等（図６の（３）〜（５））についても示している。なお、図６の（３）〜（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。なお、この場合においても、処理装置３は、図３に示す各処理とほぼ同様の処理を行うことによって１フレーム分のＶ画像信号およびＧ画像信号を生成する。
【００８２】
まず、照明制御部３４ａは、調光条件入力処理（図３のステップＳ１）において入力された調光条件を基に、照明制御処理を行う（ステップＳ２）。ＮＢＩ観察方式では、照射光は、Ｖ光、Ｇ光の２色となるため、演算処理で使用する行列式のランクを３に保持するために光を発光しない無光フレームを設定する。具体的には、照明制御部３４ａは、光源装置４に、フレーム１の１ライン露光期間においてＶ光を照射させ、フレーム２の１ライン露光期間においてＧ光を照射させ、次のフレーム３の１ライン露光期間では発光なしの無光フレームとする。そして、連続する３フレームにおいても、照明制御部３４ａは、Ｖ光照射（フレーム４）、Ｇ光照射（フレーム５）、発光なし（フレーム６）とし、３フレーム単位でこの照明制御を繰り返す。
【００８３】
続いて、色成分演算部３１ａは、画像信号読み出し処理（ステップＳ３）で読み出された連続する３つのフレームの画像信号と上述の（３）〜（５）式のいずれかのうち対応する演算式を用いて、Ｖ画像信号およびＧ画像信号を水平ラインごとに生成する（ステップＳ４）。色成分演算部３１ａは、例えば、４フレーム目のＶ画像信号Ｆ４ｖ（Ｖ）、Ｇ画像信号Ｆ４ｖ（Ｇ）を生成する場合には、水平ラインｎごとに、連続する３つのフレーム画像信号Ｆ１〜Ｆ３（図６の（２）参照）の水平ラインｎの出力値を（３）式に入力する。この場合、水平ラインｎにおいては、連続するフレーム１〜３のそれぞれの１ライン露光期間におけるＶ，Ｂ光の照明期間Ｌｖ１，Ｌｇ２、およびフレーム１〜３における水平ラインｎへのＶ光の露光期間ｖ１，ｖ３、Ｇ光の露光期間ｇ１，ｇ２に加え、発光のないフレーム３における見かけ上の照明期間Ｌｏ３と露光期間Ｏ２，Ｏ３とが、（３）式の行列Ａｋのパラメータとなる。
【００８４】
そして、色成分演算部３１ａは、（３）式を解くことによって、４フレーム目の水平ラインｎに対応する期間（ｖ１＋ｖ３）にＶ光で露光された場合の画像信号に対応するＶ画像信号Ｆ４ｖｎ（Ｖ）（図６の（３））、照明期間Ｌｇ２にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ４ｖｎ（Ｇ）（図６の（４））を生成する。なお、演算上、見かけ上の照明期間ＬＯ３に対応する無照明時画像信号Ｆ４ｖｎ（Ｏ）も生成される（図６の（５））。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａｋのパラメータとして用い、演算対象の水平ラインの画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、４フレーム目のＶ画像信号Ｆ４Ｖ（Ｖ）、Ｇ画像信号Ｆ４Ｖ（Ｇ）、無照明時画像信号Ｆ４ｖ（Ｏ）をフレーム単位で取得することができる。続いて、画像処理部３１は、色成分演算部３１ａが演算した各Ｖ画像信号Ｆ４ｖ（Ｖ）、Ｇ画像信号Ｆ４ｖ（Ｇ）に対し、ゲイン調整処理等を含む画像信号処理（ステップＳ５）を行い、ＮＢＩ画像信号を生成する。ここで、この無光フレームを設定した場合には、調光を行う必要がなくなるため、調光せずに常時最長の照射時間でＶ光、Ｇ光を照射できることから、計算誤差を低減でき、残像の影響も少なくできるものと考えられる。
【００８５】
また、図７は、ＮＢＩ観察方式の場合における、撮像素子２５における他の露光、読み出しタイミングを示すタイミングチャートである。照明制御部３４ａは、光源装置４に、図７の（１）に示すように、図６では無光フレームとしたフレーム３，６に、第２のＶ光（ＶＶ光）を照射させてもよい。この場合、４フレーム目の水平ラインｎについては、連続するフレーム１〜３のそれぞれの１ライン露光期間におけるＶ，Ｇ，ＶＶ光の照明期間Ｌｖ１，Ｌｇ２，Ｌｖｖ３、およびフレーム１〜３における水平ラインｎへのＶ光の露光期間ｖ１，ｖ３、Ｇ光の露光期間ｇ１，ｇ２、ＶＶ光の露光期間ｖｖ２，ｖｖ３が（３）式の行列Ａｋのパラメータとなる。色成分演算部３１ａは、フレーム画像信号Ｆ１〜Ｆ３（図７の（２）参照）の水平ラインｎの出力値を（３）式に入力し、解くことによって、４フレーム目の水平ラインｎにおける、Ｖ画像信号Ｆ４ｖｖｎ（Ｖ）（図７の（３））、Ｇ画像信号Ｆ４ｖｖｎ（Ｇ）（図７の（４））に加え、照明期間Ｌｖｖ３にＶＶ光で露光された場合の画像信号に対応するＶＶ画像信号Ｆ４ｖｖｎ（ＶＶ）（図７の（５））を生成することができる。色成分演算部３１ａは、各水平ラインｎに対応するパラメータを行列Ａｋのパラメータとし、演算対象の水平ラインｎの画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまで順次行うことによって、４フレーム目のＶ画像信号Ｆ４ｖｖ（Ｖ）、Ｇ画像信号Ｆ４ｖｖ（Ｇ）、ＶＶ画像信号Ｆ４ｖｖ（ＶＶ）をフレーム単位で取得する。Ｖ光は感度が十分確保できないため、この場合には、Ｖ光照明を２回行って、２枚のＶ光画像信号を用いることによって、Ｖ光画像信号とＧ光画像信号との感度的なバランスを取っている。なお、３フレーム中、Ｖ光を２回照明するほか、Ｇ光を２回照明することももちろん可能である。
【００８６】
（実施の形態１の変形例２）
また、実施の形態１は、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図８は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。
【００８７】
図８の（１）に示すように、照明制御部３４ａは、光源装置４に、Ｇ光、Ｂ光、Ｒ光の順に順次照明光を照射させる。撮像素子２５からは、フレーム１の画像信号Ｆ１が、全水平ラインいずれについても、各Ｂ光照射期間Ｌｂ２内における時間Ｔ１において読み出される。同様に、撮像素子２５からは、Ｒ光照射期間Ｌｒ３、Ｇ光照射期間Ｌｇ４の期間内の時間Ｔ２，Ｔ３において、フレーム２，３の画像信号Ｆ２，Ｆ３が読み出される。色成分演算部３１ａが４フレーム目のＲ画像信号Ｆ４ｃ（Ｒ）、Ｇ画像信号Ｆ４ｃ（Ｇ）、Ｂ画像信号Ｆ４ｃ（Ｂ）を生成する場合には、水平ラインごとに、連続する３つのフレームの画像信号Ｆ１〜Ｆ３（図８の（２）参照）のうち演算対象である水平ラインの出力値を入力して（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この場合には、実施の形態１と同様に、水平ラインｎにおいては、連続するフレーム１〜３のそれぞれの１ライン露光期間におけるＲ，Ｂ光の照明期間Ｌｒ３，Ｌｂ２、およびフレーム１〜３における水平ラインｎへのＲ光の露光期間ｒ２，ｒ３、Ｇ光の露光期間ｇ１，ｇ３、Ｂ光の露光期間ｂ１，ｂ２が（３）式の行列Ａｋのパラメータとなる。
【００８８】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、１つの１ライン露光期間に３色のうちの２色の照明光を照明させた場合について説明する。
【００８９】
図９は、実施の形態２にかかる内視鏡システムの構成を模式的に示すブロック図である。図９に示すように、実施の形態２にかかる内視鏡システム２０１は、図２に示す処理装置３に代えて処理装置２０３を有する。処理装置２０３は、照明制御部２３４ａを有する制御部２３４とを備える。照明制御部２３４ａは、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色のうちの２色の照明光を照明させる。照明制御部２３４ａは、連続する３つの１ライン露光期間においていずれの色の照明光も同回数照明されるように光源装置４に照明処理を行わせる。照明制御部２３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。
【００９０】
また、記憶部３６は、照明期間テーブル２３６ａ（照明期間情報）を記憶する。照明期間テーブル２３６ａは、色成分演算部３１ａが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示されたテーブルである。照明制御部２３４ａは、光源装置４に対する照明期間テーブル２３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。
【００９１】
図１０は、処理装置２０３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部２３４ａは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う（ステップＳ１１）。ステップＳ１１では、照明制御部２３４ａは、１フレーム過去の２光の各照明期間を取得する。ステップＳ１２は、図３に示すステップＳ１である。照明制御部２３４ａは、記憶部３６の照明期間テーブル２３６ａを参照する照明期間テーブル参照処理を行う（ステップＳ１３）。照明制御部２３４ａは、ステップＳ１１において取得した前フレームの照明期間も勘案して、照明期間テーブル２３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う（ステップＳ１４）。照明制御部２３４ａは、設定した照明期間で光源装置４に各照明光を照明させる照明制御処理を行う（ステップＳ１５）。ステップＳ１６〜ステップＳ１８は、図３に示すステップＳ３〜ステップＳ５である。
【００９２】
次に図１１を参照して、図１０に示す一部の処理について説明する。図１１は、図９に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図１１には、撮像素子２５の露光、読み出しタイミング（図１１の（１））に対応して撮像素子２５から読み出される画像信号（図１１の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図１１の（３）〜（５））についても示している。なお、図１１の（３）〜（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
【００９３】
照明制御部２３４ａは、ステップＳ１３において設定した照明期間で、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色のうちの２色の照明光を照明させる照明期間設定処理（ステップＳ１４）を、連続する３つの１ライン露光期間においていずれの色の照明光も同回数照明されるように実行させる。さらに、照明制御部２３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。そして、照明制御部２３４ａは、光源装置４に対し、実施の形態１と同様に、いずれの光も各フレームの１ライン露光期間の終了時間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５で消灯させる。
【００９４】
具体的には、フレーム１の１ライン露光期間では、第１光のＢ光が照明期間Ｌｂ１で照射されるとともに第２光のＲ光が照明期間Ｌｒ１で照明され、フレーム２の１ライン露光期間では、第１光のＧ光が照明期間Ｌｇ２で照射されるとともに第２光のＢ光が照明期間Ｌｂ２で照明され、フレーム３の１ライン露光期間では、第１光のＲ光が照明期間Ｌｒ３で照射されるとともに第２光のＧ光が照明期間Ｌｇ３で照明される。以降のフレームについても、連続する３つのフレームにおいていずれの色の照明光も、同回数照明されるとともに、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明される。
【００９５】
ステップＳ１６における画像信号読み出し処理で読み出されるフレームの画像信号Ｆ１〜Ｆ５の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態２では、連続するフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎの出力画像信号Ｆ（ｋ−３）ｎ，Ｆ（ｋ−２）ｎ，Ｆ（ｋ−１）ｎの値と、連続するフレーム（ｋ−３）〜（ｋ−１）の各１ライン露光期間における第１光、第２光の各照明期間およびフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎへの第１光および第２光の各露光期間とに基づく行列Ａｋと、フレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）との関係を示す３元一次連立方程式が成立する（（１）式）。色成分演算部３１ａは、水平ラインｎごとに、実施の形態２に対応する行列Ａｋの逆行列Ａｋ−１を求めて（２）式を解き、フレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）を求める。
【００９６】
実施の形態２では、連続するフレーム（ｋ−３）〜（ｋ−１）の各１ライン露光期間における第１光、第２光の照明期間およびフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎへの第１光および第２光の各露光期間が行列Ａｋのパラメータとなる。例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ４ｎ（Ｒ）、Ｇ画像信号Ｆ４ｎ（Ｇ）、Ｂ画像信号Ｆ４ｎ（Ｂ）については、以下の（６）式に、フレーム１〜３における水平ラインｎの画像信号Ｆ１ｎ，Ｆ２ｎ，Ｆ３ｎの出力値を入力して求める。
【００９７】
【数６】
2016114231.tif 000008
【００９８】
（６）式では、連続するフレーム１，２，３の第１光のＢ，Ｇ，Ｒ光の各照明期間Ｌｂ１，Ｌｇ２，Ｌｒ３、第２光のＲ，Ｂ，Ｇ光の各照明期間Ｌｒ１，Ｌｂ２，Ｌｇ３、フレーム１〜３における水平ラインｎへの第１光のＢ光に対する露光期間ｂ１，ｂ３、第１光のＧ光に対する露光期間ｇ１，ｇ２、第１光のＲ光に対する露光期間ｒ２，ｒ３、第２光のＲ光に対する露光期間Ｒ１，Ｒ３、第２光のＢ光に対する露光期間Ｂ１，Ｂ２、および、第２光のＧ光に対する露光期間Ｇ２，Ｇ３が４フレーム目の演算式中の行列Ａ４のパラメータとなる。以下、（６）式における行列Ａ４の１行目の分子成分から成る行ベクトル（ｒ３＋Ｒ３，Ｇ３，ｂ３）をＳａ、２行目の分子成分から成る行ベクトル（ｒ２，ｇ２＋Ｇ２，Ｂ２）をＳｂ、３行目の分子成分から成る行ベクトル（Ｒ１，ｇ１，ｂ１＋Ｂ１）をＳｃという。
【００９９】
色成分演算部３１ａは、水平ラインｎに対応する各第１色および第２色の照明期間および露光時間を行列Ａ４のパラメータとして適用し、画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの水平ラインｎの出力値を入力した（６）式を解く演算処理を行う。この結果、色成分演算部３１ａは、４フレーム目の水平ラインｎに対応する、期間（Ｒ１＋Ｌｒ３＋Ｒ３）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ４ｎ（Ｒ）、期間（Ｌｇ２＋Ｌｇ３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ４ｎ（Ｇ）、期間（ｂ１＋Ｌｂ２＋ｂ３）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ４ｎ（Ｂ）を生成することができる。色成分演算部３１ａは、各水平ラインｎに対応するパラメータを行列Ａｋのパラメータとして用い、演算対象の水平ラインｎの画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの出力値を入力した（６）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、色成分演算部３１ａは、４フレーム目のＲ画像信号Ｆ４（Ｒ）、Ｇ画像信号Ｆ４（Ｇ）、Ｂ画像信号Ｆ４（Ｂ）をフレーム単位で取得することができる。５フレーム目についても、同様に、（６）式の行列Ａｋにそれぞれ対応するパラメータを適用し、水平ラインｎごとに行列Ａｋの逆行列Ａｋ−１を演算して、水平ラインｎごとに各色成分の画像信号（Ｒ画像信号Ｆ５ｎ（Ｒ）、Ｇ画像信号Ｆ５ｎ（Ｇ）、Ｂ画像信号Ｆ５（Ｂ））を生成し、５フレーム目のＲ画像信号Ｆ５（Ｒ）、Ｇ画像信号Ｆ５（Ｇ）、Ｂ画像信号Ｆ５（Ｂ）をフレーム単位で取得する。６フレーム目についても同様である。
【０１００】
次に、（６）式中の行列Ａ４の階数について説明する。（６）式の行列Ａ４は、以下の（７）式のように分解できる。
【０１０１】
【数７】
2016114231.tif 000009
【０１０２】
（７）式のように、行列Ａ４は、第１光による各露光時間ｒ２，ｒ３，ｇ１，ｇ２，ｂ１，ｂ３がパラメータとなる行列Ａ４−１、第２光による各露光時間Ｒ１，Ｒ３，Ｇ２，Ｇ３，Ｂ１，Ｂ２がパラメータとなる行列Ａ４−２、第１光の照射期間と第２光の照射期間との和の逆数がパラメータとなる行列Ａ４−３に分解できる。このうち、行列Ａ４−３は、対角行列であるため、ランク３であり、逆行列が存在する。このため、（６）式の解が一意に決まるためには、行列Ａ４−１と行列Ａ４−２の加算後の行列がランク３であればよい。以下、（７）式における行列Ａ４−１の１行目の成分から成る行ベクトル（ｒ３，０，ｂ３）をＳａａ、２行目の成分から成る行ベクトル（ｒ２，ｇ２，０）をＳｂａ、３行目の成分から成る行ベクトル（０，ｇ１，ｂ１）をＳｃａという。（７）式における行列Ａ４−２の１行目の成分から成る行ベクトル（Ｒ３，Ｇ３，０）をＳａｂ、２行目の成分から成る行ベクトル（０，Ｇ２，Ｂ２）をＳｂｂ、３行目の成分から成る行ベクトル（Ｒ１，０，Ｂ１）をＳｃｂという。
【０１０３】
図１２は、本実施の形態２で求める画像信号の解の一意性を説明する図であり、行列Ａ４−１の行ベクトルＳａａ，Ｓｂａ，Ｓｃａと、行列Ａ４−２の行ベクトルＳａｂ，Ｓｂｂ，ＳｃｂをＲ，Ｇ，Ｂ空間で見た場合を示す図である。図１２では、いずれの色の照明期間も全て同期間であって、調光を行わない場合について示す。この場合、行ベクトルＳａａと行ベクトルＳｃｂは、Ｒ−Ｂ平面上で同一の軌跡ＰＳａａ，ＰＳｃｂを描く。また、行ベクトルＳｂａと行ベクトルＳａｂは、Ｒ−Ｇ平面上で同一の軌跡ＰＳｂａ，ＰＳａｂを描き、行ベクトルＳｃａと行ベクトルＳｂｂは、Ｇ−Ｂ平面上で同一の軌跡ＰＳｃａ，ＰＳｂｂを描く。このため、最終的に、（６）式における行ベクトルＳａは、点Ｐ１を起点とし点Ｐ２を終点とする軌跡ＰＳａをたどり、行ベクトルＳｂは、点Ｐ３を起点とし点Ｐ１を終点とする軌跡ＰＳｂをたどり、行ベクトルＳｃは、点Ｐ２を起点とし点Ｐ３を終点とする軌跡ＰＳｃをたどる。したがって、行ベクトルＳａ〜Ｓｃは常に一次独立となり、行列Ａ４はランク３となるため、（６）式における行列Ａ４の逆行列Ａ４−１は存在し、（６）式の解は一意に定まる。
【０１０４】
図１３は、本実施の形態２で求める画像信号の解の一意性を説明する図であり、行列Ａ４−１の行ベクトルＳａａ，Ｓｂａ，Ｓｃａと、行列Ａ４−２の行ベクトルＳａｂ，Ｓｂｂ，ＳｃｂをＲ，Ｇ，Ｂ空間で見た場合の他の例を示す図である。図１３では、各色の照明期間のうち、フレーム３の第２光であるＧ光の照明期間Ｌｇ３以外の各色の照明期間は全て同期間であって、他の照明期間よりも照明期間Ｌｇ３のみが長く調光した場合について示す。
【０１０５】
この場合、行ベクトルＳｂａと行ベクトルＳａｂは、Ｒ−Ｂ平面上で異なる軌跡ＰＳｂａ，ＰＳａｂを描くものの、終点は一致している。また、行ベクトルＳｃａと行ベクトルＳｂｂは、Ｇ−Ｂ平面上で異なる軌跡ＰＳｃａ，ＰＳｂｂを描くものの、起点は一致している。したがって、最終的に（６）式における行ベクトルＳａの軌跡Ｐｓａにおける起点と行ベクトルＳｂの軌跡Ｐｓｂにおける終点とが、図１２の場合と比して、照明期間Ｌｇ３に対応する点Ｐ４となるのみで、行ベクトルＳａ〜Ｓｃは常に一次独立となり、行列Ａ４はランク３となるため、調光を行った場合であっても、（６）式における行列Ａ４の逆行列Ａ４−１は存在し、（６）式の解は一意に定まる。したがって、Ｒ，Ｇ，Ｂに対する調光の有無によらず、（６）式の解は、必ず一意に定まるため、各Ｒ画像信号Ｆ４ｎ（Ｒ）、Ｇ画像信号Ｆ４ｎ（Ｇ）、Ｂ画像信号Ｆ４ｎ（Ｂ）の値を演算において求めることができる。なお、実施の形態２では、色成分演算部３１ａが用いる関係式（（６）式）の解が一意に定まる各色の照明光の照明期間の組み合わせの中から、調光条件に最も近い照明期間の組み合わせで各光を照明させることによって、色成分演算部３１ａによる演算の簡略化を図っている。
【０１０６】
上述の色成分演算処理（ステップＳ１７）では、１フレームでＲ，Ｇ，Ｂ画像信号のいずれもが演算される。画像信号処理（ステップＳ１８）では、同時化部３１ｅは、このＲ，Ｇ，Ｂ画像信号のうち、演算で使用した連続する３フレームのうちの最後のフレームの読み出し期間に近い２つの期間で露光される色の画像信号が低残像となるため、同時化処理において採用する。例えば、４フレーム目では、フレーム３における読み出し期間Ｔ３〜Ｔ４に近い露光期間Ｌｇ３および露光期間Ｌｇ２の２つの期間に対応するＧ画像信号Ｆ４（Ｇ）を採用し、５フレーム目では、フレーム４における読み出し期間Ｔ４〜Ｔ５に最も近い露光期間Ｌｒ４および露光期間Ｌｒ３の２つの期間に対応するＲ画像信号Ｆ５（Ｒ）を採用し、６フレーム目では、フレーム５における読み出し期間Ｔ５〜Ｔ６に最も近い露光期間Ｌｂ５および露光期間Ｌｂ４に対応するＢ画像信号Ｆ６（Ｂ）を採用し、採用したＲ画像信号Ｆ４（Ｒ）、Ｇ画像信号Ｆ５（Ｇ）、Ｂ画像信号Ｆ６（Ｂ）を用いて、同時化を行い、ＲＧＢ画像信号を生成する。
【０１０７】
この実施の形態２のように、１フレームで２色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態１と同様の効果を奏する。さらに、実施の形態２では、実施の形態１と比して、各色の照明頻度が多くなるため、被写体が動いた場合の残像を低減することができる。
【０１０８】
なお、実施の形態２は、実施の形態１と同様に、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図１４は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部２３４ａが、光源装置４に、図１４の（１）に示す条件でＧ光、Ｂ光、Ｒ光を照射させ、例えば４フレーム目のＲ画像信号Ｆ４ｃ（Ｒ）、Ｇ画像信号Ｆ４ｃ（Ｇ）、Ｂ画像信号Ｆ４ｃ（Ｂ）を生成する場合には、連続する３つのフレーム画像信号Ｆ１〜Ｆ３（図１４の（２）参照）の出力値を、水平ラインごとに、（６）式に入力して演算する。この場合も、ＣＭＯＳ撮像素子の場合と同様に、水平ラインｎについては、連続するフレーム１〜３の第１光のＢ，Ｇ，Ｒ光の各照明期間Ｌｂ１，Ｌｇ２，Ｌｒ３、第２光のＲ，Ｂ，Ｇ光の各照明期間Ｌｒ１，Ｌｂ２，Ｌｇ３、フレーム１〜３における水平ラインｎへの第１光のＢ光に対する露光期間ｂ１，ｂ３、第１光のＧ光に対する露光期間ｇ１，ｇ２、第１光のＲ光に対する露光期間ｒ２，ｒ３、第２光のＲ光に対する露光期間Ｒ１，Ｒ３、第２光のＢ光に対する露光期間Ｂ１，Ｂ２、および、第２光のＧ光に対する露光期間Ｇ２，Ｇ３が（６）式の行列Ａ４のパラメータとなる。
【０１０９】
また、本実施の形態２は、実施の形態１と同様に、ＮＢＩ観察方式にも適用可能である。この場合には、照明制御部２３４ａは、Ｖ光とＧ光と無光との組み合わせ、Ｖ光とＧ光とＶＶ光との組み合わせ、或いは、Ｖ光とＧ光とＧＧ光（２回目のＧ光）の組み合わせのいずれかのパターンを用いて、Ｒ，Ｇ，Ｂ光照射の条件と同様に、１つの１ライン露光期間に３色のうちの２色の照明光を照明させる照明処理を、連続する３つのフレーム期間においていずれの色の照明光も同回数照明されるように実行させればよい。また、実施の形態２では、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる場合を例に説明したが、行列Ａｋがランク３となる条件であれば、同一の１ライン露光期間において照明させる２色の照明光の照明期間が重複していなくともよい。
【０１１０】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、１つの１ライン露光期間に３色全ての照明光を照明させた場合について説明する。
【０１１１】
図１５は、実施の形態３にかかる内視鏡システムの構成を模式的に示すブロック図である。図１５に示すように、実施の形態３にかかる内視鏡システム３０１は、図９に示す処理装置２０３に代えて処理装置３０３を有する。処理装置３０３は、照明制御部３３４ａを有する制御部３３４を備える。照明制御部３３４ａは、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色の全ての照明光をそれぞれ異なる照明期間で照明させる。照明制御部３３４ａは、光源装置４に対し、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。
【０１１２】
また、記憶部３６は、実施の形態２と同様に、色成分演算部３１ａが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間テーブル３３６ａ（照明期間情報）を記憶する。照明制御部３３４ａは、光源装置４に対する照明期間テーブル３３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。
【０１１３】
図１６は、処理装置３０３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部３３４ａは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う（ステップＳ２１）。ステップＳ２１では、照明制御部３３４ａは、１フレーム過去の３光の各照明期間および２フレーム過去の３光の各照明期間を取得する。ステップＳ２２は、図３に示すステップＳ１である。照明制御部３３４ａは、記憶部３６の照明期間テーブル３３６ａを参照する照明期間テーブル参照処理を行う（ステップＳ２３）。照明制御部３３４ａは、ステップＳ２１において取得した前フレームの照明期間も勘案して、照明期間テーブル３３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う（ステップＳ２４）。照明制御部３３４ａは、設定した照明期間で光源装置４に各照明光を照明させる照明制御処理を行う（ステップＳ２５）。ステップＳ２６〜ステップＳ２８は、図３に示すステップＳ３〜ステップＳ５である。
【０１１４】
次に図１７を参照して、図１６に示す一部の処理について説明する。図１７は、図１５に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図１７には、撮像素子２５の露光、読み出しタイミング（図１７の（１））に対応して撮像素子２５から読み出される画像信号（図１７の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図１７の（３）〜（５））についても示している。なお、図１７の（３）〜（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。
【０１１５】
照明制御部３３４ａは、ステップＳ２３において設定した照明期間で、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色全ての照明光を照明させる照明処理（ステップＳ２４）を、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように実行させる。さらに、照明制御部３３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。そして、照明制御部３３４ａは、光源装置４に対し、実施の形態１と同様に、いずれの光も各フレームの１ライン露光期間の終了時間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５で消灯させる。
【０１１６】
具体的には、フレーム１の１ライン露光期間では、第１光のＧ光が照明期間Ｌｇ１で照射され、第２光のＢ光が照明期間Ｌｂ１（＜Ｌｇ１）で照明され、第３光のＲ光が照明期間Ｌｒ１（＜Ｌｂ１）で照明される。フレーム２の１ライン露光期間では、第１光のＢ光が照明期間Ｌｂ２で照射され、第２光のＲ光が照明期間Ｌｒ２（＜Ｌｂ２）で照明され、第３光のＧ光が照明期間Ｌｇ２（＜Ｌｒ２）で照明される。フレーム３の１ライン露光期間では、第１光のＲ光が照明期間Ｌｒ３で照射され、第２光のＧ光が照明期間Ｌｇ３（＜Ｌｒ３）で照明され、第３光のＢ光が照明期間Ｌｂ３（＜Ｌｇ３）で照明される。以降のフレームについても、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるとともに、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。
【０１１７】
ステップＳ２６における画像信号読み出し処理で読み出されるフレームの画像信号Ｆ１〜Ｆ５の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態３では、連続するフレーム（ｋ−３）〜（ｋ−１）における水平ラインｎの出力画像信号Ｆ（ｋ−３）ｎ，Ｆ（ｋ−２）ｎ，Ｆ（ｋ−１）ｎの値と、連続するフレーム（ｋ−３）〜（ｋ−１）の各１ライン露光期間における第１光、第２光および第３光の各照明期間、並びに、フレーム（ｋ−３）〜（ｋ−１）における水平ラインｎへの第１光、第２光および第３光の各露光期間とに基づく行列Ａｋと、フレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）との関係を示す３元一次連立方程式（（１）式）が成立する。色成分演算部３１ａは、水平ラインごとに、実施の形態３に対応する行列Ａｋの逆行列Ａｋ−１を求めて（２）式を解き、フレームｋの水平ラインｎのＲ画像信号Ｆｋｎ（Ｒ），Ｇ画像信号Ｆｋｎ（Ｇ），Ｂ画像信号Ｆｋｎ（Ｂ）を求める。
【０１１８】
実施の形態３では、連続するフレーム（ｋ−３）〜（ｋ−１）の各１ライン露光期間における第１光、第２光および第３光の照明期間、並びに、フレーム（ｋ−３）〜（ｋ−１）における水平ラインｎへの第１光、第２光および第３光の各露光期間が行列Ａｋのパラメータとなる。例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ４ｎ（Ｒ）、Ｇ画像信号Ｆ４ｎ（Ｇ）、Ｂ画像信号Ｆ４ｎ（Ｂ）については、以下の（８）式に、フレーム１〜３の画像信号Ｆ１ｎ，Ｆ２ｎ，Ｆ３ｎにおける水平ラインｎの出力値を入力して求める。
【０１１９】
【数８】
2016114231.tif 000010
【０１２０】
（８）式では、連続するフレーム１，２，３の第１光のＧ，Ｂ，Ｒ光の各照明期間Ｌｇ１，Ｌｂ２，Ｌｒ３、第２光のＢ，Ｒ，Ｇ光の各照明期間Ｌｂ１，Ｌｒ２，Ｌｇ３、第３光のＲ，Ｇ，Ｂ光の各照明期間Ｌｒ１，Ｌｇ２，Ｌｂ３、フレーム１〜３における水平ラインｎへの第１光のＧ光に対する露光期間ｇ１，ｇ３、第１光のＢ光に対する露光期間ｂ１，ｂ２、第１光のＲ光に対する露光期間ｒ２，ｒ３、第２光のＢ光に対する露光期間Ｂ１，Ｂ３、第２光のＲ光に対する露光期間Ｒ１，Ｒ２、第２光のＧ光に対する露光期間Ｇ２，Ｇ３、第３光のＲ光に対する露光期間ｒ１´，ｒ３´、第３光のＧ光に対する露光期間ｇ１´，ｇ２´、第３光のＢ光に対する露光期間ｂ２´，ｂ３´が、４フレーム目の演算式中の行列Ａ４のパラメータとなる。以下、（８）式における行列Ａ４の１行目の分子成分から成る行ベクトル（ｒ３＋ｒ３´，ｇ２＋Ｇ３，Ｂ３＋ｂ３´）をＱａ、２行目の分子成分から成る行ベクトル（ｒ２＋Ｒ２，Ｇ２＋ｇ２´，ｂ２＋ｂ２´）をＱｂ、３行目の分子成分から成る行ベクトル（Ｒ１＋ｒ１´，ｇ１＋ｇ１´，ｂ１＋Ｂ１）をＱｃという。
【０１２１】
色成分演算部３１ａは、水平ラインｎに対応する各第１色、第２色および第３色の照明期間および露光時間を行列Ａ４のパラメータとして適用し、画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの水平ラインｎの出力値を入力した（８）式を解く演算処理を行う。この結果、４フレーム目の水平ラインｎに対応する、期間（ｒ１´＋Ｌｒ２＋Ｌｒ３＋ｒ３´）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ４ｎ（Ｒ）、期間（ｇ１＋Ｌｇ２＋Ｌｇ３＋ｇ３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ４ｎ（Ｇ）、期間（Ｂ１＋Ｌｂ２＋Ｌｂ３＋Ｂ３）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ４ｎ（Ｂ）を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａｋのパラメータとして用い、演算対象の水平ラインの画像信号Ｆ３ｎ，Ｆ２ｎ，Ｆ１ｎの出力値を入力した（８）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、色成分演算部３１ａは、４フレーム目のＲ画像信号Ｆ４（Ｒ）、Ｇ画像信号Ｆ４（Ｇ）、Ｂ画像信号Ｆ４（Ｂ）をフレーム単位で取得することができる。５フレーム以降についても、（８）式の行列Ａｋにそれぞれ対応するパラメータを適用し、各水平ラインｎごとに行列Ａｋの逆行列Ａｋ−１を演算して、水平ラインｎごとに各色成分の画像信号を取得する。
【０１２２】
次に、（８）式中の行列Ａ４の階数について説明する。（８）式の行列Ａ４は、以下の（９）式のように分解できる。
【０１２３】
【数９】
2016114231.tif 000011
【０１２４】
（９）式のように、行列Ａ４は、第１光による各露光時間ｒ２，ｒ３，ｇ１，ｇ３，ｂ１，ｂ２がパラメータとなる行列Ａ４−１１、第２光による各露光時間Ｒ１，Ｒ２，Ｇ２，Ｇ３，Ｂ１，Ｂ３がパラメータとなる行列Ａ４−１２、第３光による各露光時間ｒ１´，ｒ３´，ｇ１´，ｇ２´，ｂ２´，ｂ３´がパラメータとなる行列Ａ４−１３、第１光の照射期間と第２光の照射期間と第３光の照射期間との和の逆数がパラメータとなる行列Ａ４−１４に分解できる。このうち、行列Ａ４−１４は、対角行列であるため、ランク３であり、逆行列が存在する。このため、（８）式の解が一意に決まるためには、行列Ａ４−１１〜行列Ａ４−１３の加算後の行列がランク３であればよい。以下、（９）式における行列Ａ４−１１の１行目の成分から成る行ベクトル（ｒ３，ｇ３，０）をＱａａ、２行目の成分から成る行ベクトル（ｒ２，０，ｂ２）をＱｂａ、３行目の成分から成る行ベクトル（０，ｇ１，ｂ１）をＱｃａという。（９）式における行列Ａ４−１２の１行目の成分から成る行ベクトル（０，Ｇ３，Ｂ３）をＱａｂ、２行目の成分から成る行ベクトル（Ｒ２，Ｇ２，０）をＱｂｂ、３行目の成分から成る行ベクトル（Ｒ１，０，Ｂ１）をＱｃｂという。（９）式における行列Ａ４−１３の１行目の成分から成る行ベクトル（ｒ３´，０，ｂ３´）をＱａｃ、２行目の成分から成る行ベクトル（０，ｇ２´，ｂ２´）をＱｂｃ、３行目の成分から成る行ベクトル（ｒ１´，ｇ１´，０）をＱｃｃという。
【０１２５】
図１８は、本実施の形態３で求める画像信号の解の一意性を説明する図であり、行列Ａ４−１１の行ベクトルＱａａ，Ｑｂａ，Ｑｃａと、行列Ａ４−１２の行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂと、行列Ａ４−１３の行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃと、をＲ，Ｇ，Ｂ空間で見た場合を示す図である。図１８は、第１光のＲ，Ｇ，Ｂの照明期間が同期間であり、第２光のＲ，Ｇ，Ｂの各照明期間が同期間であり、第３光のＲ，Ｇ，Ｂの照明期間が同期間であり、第１光は、第３光の照明期間の３倍の期間であり、第２光は第３光の照明期間の２倍の期間である場合について示す。
【０１２６】
第１光の露光期間に対応する行ベクトルＱａａ，Ｑｂａ，Ｑｃａは、Ｒ−Ｇ平面、Ｂ−Ｒ平面、Ｇ−Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第１光の照明時間幅に対応する３点が起点或いは終点となる軌跡ＰＱａａ，ＰＱｂａ，ＰＱｃａを描く。第２光の露光期間に対応する行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂは、Ｒ−Ｇ平面、Ｂ−Ｒ平面、Ｇ−Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第２光の照明時間幅に対応する３点が起点或いは終点となる軌跡ＰＱａｂ，ＰＱｂｂ，ＰＱｃｂを描く。第３光の露光期間に対応する行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃは、Ｒ−Ｇ平面、Ｂ−Ｒ平面、Ｇ−Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第３光の照明時間幅に対応する３点が起点或いは終点となる軌跡ＰＱａｃ，ＰＱｂｃ，ＰＱｃｃを描く。
【０１２７】
この結果、行ベクトルＱａａ，Ｑａｂ，Ｑａｃの合成ベクトルである行列Ａ４の行ベクトルＱａは、軌跡ＰＱａを描き、行ベクトルＱｂａ，Ｑｂｂ，Ｑｂｃの合成ベクトルである行列Ａ４の行ベクトルＱｂは、軌跡ＰＱｂを描き、行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃの合成ベクトルである行列Ａ４の行ベクトルＱｃは、軌跡ＰＱｃを描き、行ベクトルＱａ〜Ｑｃに対応する軌跡で形成される三角形が面積を有する状態となる。この場合には、いずれの行ベクトルＱａ〜Ｑｃについても対応する軌跡が重複することがない。行ベクトルＱａ〜Ｑｃは独立性を保持し、行列Ａ４はランク３となるため、（８）式における行列Ａ４の逆行列Ａ４−１は存在し、（８）式の解は一意に定まる。
【０１２８】
図１９は、本実施の形態３で求める画像信号の解の一意性を説明する図であり、行列Ａ４−１１の行ベクトルＱａａ，Ｑｂａ，Ｑｃａと、行列Ａ４−１２の行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂと、行列Ａ４−１３の行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃと、をＲ，Ｇ，Ｂ空間で見た場合の他の例を示す図である。各色の照明期間のうち、フレーム３の第１光のＲ光の照明期間Ｌｒ３を、他のフレーム１，２の第１光の照明期間の（４／３）倍に長くし、第２光のＧ光の照明期間Ｌｇ３を他のフレーム１，２の第２光の照明期間の（４／３）倍に長くし、第３光のＢ光の照明期間Ｌｂ３を他のフレーム１，２の第３光の照明期間の（４／３）倍に長くした場合について示す。
【０１２９】
この場合には、図１８と比して、軌跡ＰＱｂａの起点および軌跡ＰＱｃａの終点が、他のフレーム１，２の第１光の照明期間の（４／３）倍に長いフレーム３の第１光のＲ光の照明期間Ｌｒ３に対応する点となり、軌跡ＰＱａｂの起点および軌跡ＰＱｂｂの終点が、他のフレーム１，２の第２光の照明期間の（４／３）倍に長いフレーム３の第２光のＧ光の照明期間Ｌｇ３に対応する点となり、軌跡ＰＱａｃの起点および軌跡ＰＱｂｃの終点が、他のフレーム１，２の第２光の照明期間の（４／３）倍に長いフレーム３の第３光のＢ光の照明期間Ｌｂ３に対応する点となる。この場合も、行ベクトルＱａ〜Ｑｃに対応する軌跡ＰＱａ，ＰＱｂ，ＰＱｃで形成される三角形が面積を有する状態となり、行ベクトルＱａ〜Ｑｃは独立性を保持し、行列Ａ４はランク３となる。したがって、実施の形態３では、第１光、第２光、第３光の照明期間を、他のフレームの第１光、第２光、第３光の照明期間と異なる期間に変更することが可能である。
【０１３０】
ただし、同一フレームにおける第１光、第２光、第３光の照明期間をいずれも同期間にした場合には、行ベクトルＱａａ，Ｑｂｂ，Ｑｃｃが重複し、行ベクトルＱａｃ，Ｑｂａ，Ｑｃｂが重複し、行ベクトルＱａｂ，Ｑｂｃ，Ｑｃａが重複する。この場合には、行ベクトルＱａ〜Ｑｃは、行ベクトルＱａａ，Ｑｂｂ，Ｑｃｃ、行ベクトルＱａｃ，Ｑｂａ，Ｑｃｂ、行ベクトルＱａｂ，Ｑｂｃ，Ｑｃａの軌跡で形成される三角形の重心に位置し、動かなくなるため、行ベクトルＱａ〜Ｑｃの一次独立は破綻し、ランク３が崩れ、（８）式の解が一意に定まらない。したがって、行ベクトルＱａ〜Ｑｃに対応する軌跡ＰＱａ，ＰＱｂ，ＰＱｃで形成される三角形が面積を有することが、行列Ａ４のランク３を維持する条件となるため、照明制御部３３４ａは、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように制御する必要がある。なお、第１光、第２光および第３光の照明期間の差が大きいと、行ベクトルＱａ〜Ｑｃに対応する軌跡ＰＱａ，ＰＱｂ，ＰＱｃで形成される三角形の面積が大きくなり、行ベクトルＱａ〜Ｑｃの独立性を維持しやすくなるため、照明制御部３３４ａは、同じ１ライン露光期間における第１光、第２光および第３光の照明期間の差が大きくなる条件を設定することが望ましい。
【０１３１】
この実施の形態３のように、１フレームで３色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態１と同様の効果を奏する。さらに、実施の形態３では、実施の形態２よりもさらに各色の照明頻度が多くなる分、被写体が動いた場合の残像を低減できる。
【０１３２】
なお、実施の形態３は、実施の形態１，２と同様に、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図２０は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部３３４ａが、光源装置４に、図２０の（１）に示す条件でＧ光、Ｂ光、Ｒ光を照射させ、例えば４フレーム目のＲ画像信号Ｆ４ｃ（Ｒ）、Ｇ画像信号Ｆ４ｃ（Ｇ）、Ｂ画像信号Ｆ４ｃ（Ｂ）を生成する場合には、連続する３つのフレーム画像信号Ｆ１〜Ｆ３（図２０の（２）参照）の演算対象の水平ラインと同ラインの出力値を、（８）式に入力して、水平ラインごとに演算する。この場合も、ＣＭＯＳ撮像素子の場合と同様に、水平ラインｎについては、連続するフレーム１〜３の第１光のＧ，Ｂ，Ｒ光の各照明期間Ｌｇ１，Ｌｂ２，Ｌｒ３、第２光のＢ，Ｒ，Ｇ光の各照明期間Ｌｂ１，Ｌｒ２，Ｌｇ３、第３光のＲ，Ｇ，Ｂ光の各照明期間Ｌｒ１，Ｌｇ２，Ｌｂ３、フレーム１〜３における水平ラインｎへの第１光のＧ光に対する露光期間ｇ１，ｇ３、第１光のＢ光に対する露光期間ｂ１，ｂ２、第１光のＲ光に対する露光期間ｒ２，ｒ３、第２光のＢ光に対する露光期間Ｂ１，Ｂ３、第２光のＲ光に対する露光期間Ｒ１，Ｒ２、第２光のＧ光に対する露光期間Ｇ２，Ｇ３、第３光のＲ光に対する露光期間ｒ１´，ｒ３´、第３光のＧ光に対する露光期間ｇ１´，ｇ２´、第３光のＢ光に対する露光期間ｂ２´，ｂ３´が（８）式の行列Ａ４のパラメータとなる。
【０１３３】
また、本実施の形態３は、実施の形態１，２と同様に、ＮＢＩ観察方式にも適用可能である。この場合には、照明制御部３３４ａは、Ｖ光とＧ光と無光との組み合わせ、Ｖ光とＧ光とＶＶ光との組み合わせ、或いは、Ｖ光とＧ光とＧＧ光の組み合わせのいずれかのパターンを用いて、Ｒ，Ｇ，Ｂ光照射の条件と同様に、１つの１ライン露光期間に３色全ての照明光を照明させる照明処理を、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように実行させればよい。また、実施の形態３では、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる場合を例に説明したが、（８）式の行列Ａ４がランク３となる条件であれば、同一の１ライン露光期間において照明させる３色の照明光の照明期間が重複していなくともよい。
【０１３４】
また、本実施の形態において、光源装置と別体である処理装置３，２０３，３０３を例に説明したが、もちろん、光源が一体となった光源一体型処理装置にも適用可能である。また、本実施の形態において、照明光の組み合わせは、Ｒ，Ｇ，Ｂ光の組み合わせ、或いは、狭帯域化されたＶ光とＧ光との組み合わせに限らない。Ｇ光と励起光と励起光との組み合わせ、Ｇ光と第１のＲ光と第１のＲ光とは異なる波長帯域の第２のＲ光との組み合わせであってもよい。また、狭帯域化されたＶ光とＧ光との組み合わせ例でも説明したように、３回単位で発する照明光のうちの２回の照明光において、波長帯域が異なれば本実施の形態は適用可能である。
【０１３５】
また、本実施の形態にかかる処理装置３，２０３，３０３、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【符号の説明】
【０１３６】
１，２０１，３０１  内視鏡システム
２  内視鏡
３，２０３，３０３  処理装置
４  光源装置
５  表示装置
２１  挿入部
２１ａ  先端部
２１ｂ  湾曲部
２１ｃ  可撓管部
２１ｄ  開口部
２１ｅ  照明レンズ
２１ｆ  照明窓
２２  操作部
２２ａ  湾曲ノブ
２２ｂ  処置具挿入部
２２ｃ  スイッチ部
２３  ユニバーサルコード
２３ａ，２３ｂ  コネクタ
２３ｃ  ライトガイドケーブル
２４  光学系
２５  撮像素子
２６  受光部
２７  読み出し部
３１  画像処理部
３１ａ  色成分演算部
３１ｂ  メモリ
３１ｃ  ゲイン調整部
３１ｄ  ＷＢ調整部
３１ｅ  同時化部
３２  表示制御部
３３  調光部
３４，２３４，３３４  制御部
３４ａ，２３４ａ，３３４ａ  照明制御部
３５  入力部
３６  記憶部
４１  光源制御部
４２  照明部
４３  光源ドライバ
４４  光源
２３６ａ，３３６ａ  照明期間テーブル
【図１】
2016114231.tif 000012
【図２】
2016114231.tif 000013
【図３】
2016114231.tif 000014
【図４】
2016114231.tif 000015
【図５】
2016114231.tif 000016
【図６】
2016114231.tif 000017
【図７】
2016114231.tif 000018
【図８】
2016114231.tif 000019
【図９】
2016114231.tif 000020
【図１０】
2016114231.tif 000021
【図１１】
2016114231.tif 000022
【図１２】
2016114231.tif 000023
【図１３】
2016114231.tif 000024
【図１４】
2016114231.tif 000025
【図１５】
2016114231.tif 000026
【図１６】
2016114231.tif 000027
【図１７】
2016114231.tif 000028
【図１８】
2016114231.tif 000029
【図１９】
2016114231.tif 000030
【図２０】
2016114231.tif 000031
【手続補正書】
【提出日】平成28年5月25日(2016.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、
前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子と、
前記光源装置に対し、前記撮像素子における１ライン露光期間ごとに、該１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部と、
前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象である水平ラインと同ラインの出力値と、各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係に基づいて、水平ラインごとに各色成分信号を演算する色成分演算部と、
を有することを特徴とする内視鏡システム。
【請求項２】
前記光源装置は、３色の照明光を照明し、
前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象である水平ラインと同じ水平ラインの出力値を前記関係式に適用して、演算対象の水平ラインにおける各色成分信号を演算することを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする請求項２に記載の内視鏡システム。
【請求項４】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの２色の照明光を照明させることを特徴とする請求項２に記載の内視鏡システム。
【請求項５】
前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする請求項４に記載の内視鏡システム。
【請求項６】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする請求項２に記載の内視鏡システム。
【請求項７】
前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする請求項６に記載の内視鏡システム。
【請求項８】
前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、
前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、
をさらに備え、
前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする請求項４に記載の内視鏡システム。
【請求項９】
前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする請求項２に記載の内視鏡システム。
【請求項１０】
前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
【請求項１１】
前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする請求項１０に記載の内視鏡システム。
【請求項１２】
前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
【請求項１３】
被写体を照明するための照明光として異なる色の照明光を所定の周期に対応させて順次発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、
前記光源装置に対し、前記撮像素子における１ライン露光期間ごとに、該１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部と、
前記内視鏡装置の撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象である水平ラインと同ラインの出力値と、各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係に基づいて、水平ラインごとに各色成分信号を演算する色成分演算部と、
を備えたことを特徴とする処理装置。
【手続補正書】
【提出日】平成28年9月26日(2016.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を照明するための照明光として、３色の照明光を所定の周期に対応させて順次発する光源装置と、
前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子と、
前記光源装置に対し、前記撮像素子における１ライン露光期間において前記３色のうちの２色の照明光を照明させる制御を行う照明制御部と、
前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象である水平ラインと同じ水平ラインの出力値と、各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係式に基づいて、水平ラインごとに各色成分信号を演算する色成分演算部と、
を有することを特徴とする内視鏡システム。
【請求項２】
前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする請求項１に記載の内視鏡システム。
【請求項４】
被写体を照明するための照明光として、３色の照明光を所定の周期に対応させて順次発する光源装置と、
前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子と、
前記光源装置に対し、前記撮像素子における１ライン露光期間において前記３色の全ての照明光をそれぞれ異なる照明期間で照明させる制御を行う照明制御部と、
前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象である水平ラインと同じ水平ラインの出力値と、各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係式に基づいて、水平ラインごとに各色成分信号を演算する色成分演算部と、
有することを特徴とする内視鏡システム。
【請求項５】
前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする請求項４に記載の内視鏡システム。
【請求項６】
前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、
前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、
をさらに備え、
前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする請求項１に記載の内視鏡システム。
【請求項７】
前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする請求項１または４に記載の内視鏡システム。
【請求項８】
前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする請求項１または４に記載の内視鏡システム。
【請求項９】
前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする請求項８に記載の内視鏡システム。
【請求項１０】
前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする請求項１または４に記載の内視鏡システム。
【国際調査報告】
2016114231.tif 000032
2016114231.tif 000033
2016114231.tif 000034
2016114231.tif 000035