(57)【要約】      （修正有）【課題】画質低下を抑制し、且つ混色の影響を低減したローリングシャッタ方式で駆動される撮像素子を用いた面順次方式の内視鏡装置を提供する。【解決手段】内視鏡装置は、スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置４０Ｂ，４０Ｇ，４０Ｒ、４１、４２と、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子３０を有し、複数の照明光の各々の下で被写体を順次撮像する撮像装置２０と、複数の照明光の切り換えに伴い、複数の照明光のうちの一照明光下で露光される第１期間が露光期間よりも短くなる非一様露光ラインの画素の画素信号を、非一様露光ラインが露光期間の全期間に亘って一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部とを備える。【選択図】図２
2015070937.tif 000002
【特許請求の範囲】
【請求項１】
スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、
露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、前記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、
前記複数の照明光の切り換えに伴い、前記複数の照明光のうちの一照明光下で露光される第１期間が前記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、該非一様露光ラインが前記露光期間の全期間に亘って該一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、
を備える内視鏡装置。
【請求項２】
請求項１記載の内視鏡装置であって、
前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率に基づいて前記補正処理を行う内視鏡装置。
【請求項３】
請求項２記載の内視鏡装置であって、
前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と他照明光とで切り替わり、
前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインが前記他照明光下で露光される第２期間の前記露光期間に対する時間比率を１−ｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式により前記補正処理を行う内視鏡装置。
Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ
【請求項４】
請求項３記載の内視鏡装置であって、
前記補正部は、前記露光期間の全期間に亘って単一の照明光が照射される一様露光ラインの画素である複数の画素の前記一照明光下での画素信号の信号値の和ＳＵＭＡと、該複数の画素の前記他照明光下での画素信号の信号値の和ＳＵＭＢとの比ＳＵＭＢ／ＳＵＭＡに基づいて前記換算係数ｋを求める内視鏡装置。
【請求項５】
請求項４記載の内視鏡装置であって、
前記複数の画素は、前記非一様露光ラインの隣に並ぶ前記一様露光ラインの画素である内視鏡装置。
【請求項６】
請求項２記載の内視鏡装置であって、
前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と他照明光とで切り替わり、
前記撮像装置は、照明光が切り替わるタイミングで、少なくとも前記非一様露光ラインの画素のリセットを行い、
前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により前記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
【請求項７】
請求項２記載の内視鏡装置であって、
前記照明装置は、隣接する撮像フレームの全てのラインの前記露光期間と重複しない期間にのみ前記照明光を照射し、
前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と照明光無しとで切り替わり、
前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により前記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
【請求項８】
請求項１から７のいずれか一項記載の内視鏡装置であって、
前記非一様露光ラインは、前記撮像素子の画素配列におけるラインの並びの端側に設けられる内視鏡装置。
【請求項９】
請求項１から８のいずれか一項記載の内視鏡装置であって、
前記撮像素子の画素配列におけるラインの並びの端側のラインであって、該ラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインが前記撮像素子に設けられ、
前記ブランクラインは前記非一様露光ラインである内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置に関する。
【背景技術】
【０００２】
例えば青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色の照明光や、白色光及び特殊光など、スペクトル（発光波長分布特性、もしくは中心発光波長を指す）が互いに異なる複数の照明光を被写体に順次照射し、各照明光下で被写体を順次撮像する、いわゆる面順次方式の内視鏡装置が知られている（例えば、特許文献１参照）。
【０００３】
内視鏡装置に搭載される撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサが用いられているが、量産性に優れ且つ消費電力の少ないＣＭＳＯイメージセンサの使用が望まれている。
【０００４】
ＣＭＯＳイメージセンサは、典型的には、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される。そのため、複数の照明光が順次照射される場合に、画素配列における一部のラインについては露光期間に複数の照明光によって露光されてしまう混色の問題が生じ得る。
【０００５】
特許文献１に記載された内視鏡装置においてもＣＭＯＳイメージセンサが用いられているが、照明光の点灯・消灯及び照明光の切り替え、並びにＣＭＯＳイメージセンサの露光及び画素信号の読み出しを制御することにより、上記の混色の問題に対する対策がなされている。
【０００６】
具体的には、１フレーム期間毎に照明光が切り替えられ、１フレーム期間を前後二分割した前半の１／２フレーム期間で露光され、後半の１／２フレーム期間で半数の画素から画素信号が読み出されており、又は２フレーム期間毎に照明光が切り替えられ、前半の１フレーム期間で露光され、後半の１フレーム期間で全ての画素から画素信号が読み出されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０６８９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された内視鏡装置では、解像度が低下するか又はフレームレートが低下し、画質劣化が懸念される。
【０００９】
本発明は、上述した事情に鑑みなされたものであり、ローリングシャッタ方式で駆動される撮像素子を用いた面順次方式の内視鏡装置において、画質劣化を抑制し、且つ混色の影響を低減することを目的とする。
【課題を解決するための手段】
【００１０】
スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、上記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、上記複数の照明光の切り換えに伴い、上記複数の照明光のうちの一照明光下で露光される第１期間が上記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、この非一様露光ラインが上記露光期間の全期間に亘ってこの一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、を備える内視鏡装置。
【発明の効果】
【００１１】
本発明によれば、ローリングシャッタ方式で駆動される撮像素子を用いた面順次方式の内視鏡装置において、画質低下を抑制し、且つ混色の影響を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態を説明するための内視鏡装置の一例の構成を示す図である。
【図２】図１の内視鏡装置の機能ブロックを示す図である。
【図３】図２の画像処理部の詳細な機能ブロックを示す図である
【図４】図１の内視鏡装置における画像表示の一例を示す図である。
【図５】図２の撮像素子の構成を示す図である。
【図６】図１の内視鏡装置の動作の一例を示す図である。
【図７】図６の内視鏡装置の動作例における補正処理を示す図である。
【図８】図６の内視鏡装置の動作例の変形例を示す図である。
【図９】図１の内視鏡装置の動作の他の例を示す図である。
【図１０】図１の内視鏡装置の動作の他の例を示す図である。
【図１１】図１０の内視鏡装置の動作例の変形例を示す図である。
【図１２】本発明の実施形態を説明するための内視鏡装置の他の例の機能ブロックを示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好適な実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の実施形態を説明するための内視鏡装置の一例の構成を示し、図２及び図３は、図１の内視鏡装置の機能ブロックを示す。
【００１５】
内視鏡装置１は、Ｂ，Ｇ，Ｒの各色の照明光を被写体に順次照射し、各照明光下で被写体を順次撮像し、得られたＢ，Ｇ，Ｒの各色の画像データに基づいてカラー画像データを合成するものである。この内視鏡装置１は、内視鏡本体２と、プロセッサユニット３と、光源ユニット４と、モニタ５とを備えている。
【００１６】
内視鏡本体２は、被写体内に挿入される挿入部１０と、挿入部１０に連なる操作部１１と、操作部１１から延びるユニバーサルコード１２とを有している。内視鏡本体２は、ユニバーサルコード１２を介してプロセッサユニット３及び光源ユニット４に接続される。
【００１７】
光源ユニット４は、青色発光ダイオード４０Ｂ、緑色発光ダイオード４０Ｇ、赤色発光ダイオード４０Ｒと、これらの発光ダイオード４０Ｂ，４０Ｇ，４０Ｒを駆動するドライバ４１とを有している。
【００１８】
ドライバ４１は、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒの各々の点灯・消灯及び光量を制御可能であり、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒが順次点灯されることによってＢ，Ｇ，Ｒの各色の照明光が光源ユニット４から順次出射される。
【００１９】
光源ユニット４から出射されたＢ，Ｇ，Ｒの各色の照明光は、内視鏡本体２のユニバーサルコード１２、操作部１１、挿入部１０に跨ってそれらの内部に挿通されたライトガイド４２によって挿入部１０の先端部１３に導光され、ライトガイド４２の先端面から被写体に向けて照射される。
【００２０】
発光ダイオード４０Ｂ，４０Ｇ，４０Ｒ、ドライバ４１、及びライトガイド４２によって、スペクトル（発光波長分布特性、もしくは中心発光波長を指す）が互いに異なるＢ，Ｇ，Ｒの各色の照明光を被写体に順次照射する照明装置が構成される。
【００２１】
内視鏡本体２の挿入部１０の先端部１３には撮像装置２０が設けられている。
【００２２】
撮像装置２０は、詳細は後述するが、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子３０と、撮像素子３０の各画素から画素信号を読み出す読出部３１と、撮像信号を出力する送信部３２と、撮像素子３０及び読出部３１並びに送信部３２を駆動するドライバ３３とを有している。なお、撮像信号は、フレームの区切りを示すヘッダ情報や画素信号を含んで構成される。
【００２３】
撮像装置２０は、上記の照明装置から順次照射されるＢ，Ｇ，Ｒの各色の照明光下で被写体を順次撮像し、各色の照明光に対応した撮像信号をプロセッサユニット３に送信する。
【００２４】
プロセッサユニット３は、制御部５０と、受信部５１と、画像処理部５２と、表示処理部５３とを有している。
【００２５】
制御部５０は、ＣＰＵ（Central Processing Unit）を主体として構成され、プロセッサユニット３及び光源ユニット４並びに撮像装置２０の動作を統括制御する。
【００２６】
制御部５０は、受信部５１にて受信された撮像信号に含まれるヘッダ情報に基づき、撮像装置２０の撮像タイミング（フレームの区切り）を取得する。
【００２７】
そして、制御部５０は、被写体に照射される照明光が１フレーム毎に切り替わるように、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒを撮像装置２０の撮像タイミングに同期させて適切な光量で順次点灯させるための照明制御信号を光源ユニット４のドライバ４１に送信する。
【００２８】
さらに制御部５０は、受信部５１にて受信された撮像信号が、Ｂ，Ｇ，Ｒのいずれの色の照明光下で撮像されたものであるかを識別するための色成分信号を画像処理部５２に送信する。
【００２９】
画像処理部５２は、ゲイン補正部６０と、ホワイトバランス補正部６１と、セレクタ部６２と、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒと、合成部６４と、Ｙ／Ｃ変換部６５と、測光部６６とを含んで構成されている。
【００３０】
ゲイン補正部６０は、Ｂ，Ｇ，Ｒの各色の照明光が被写体に順次照射される場合に、ローリングシャッタ方式で駆動される撮像素子３０の画素配列における一部のラインが露光期間に複数の照明光によって露光されてしまう混色の影響を低減するためのゲイン補正を行うものである。ゲイン補正部６０によるゲイン補正では、詳細は後述するが、照明光毎に且つ画素配列におけるライン毎に補正値が設定され、制御部５０から入力される色成分信号及び画素信号の入力順に基づいて補正値が切り替えられる。
【００３１】
ホワイトバランス補正部６１は、カラー画像データのホワイトバランスを調整するためのゲイン補正を行うものである。ホワイトバランス補正部６１によるゲイン補正では、照明光毎に補正値が設定され、制御部５０から入力される色成分信号に基づいて補正値が切り替えられる。
【００３２】
セレクタ部６２は、制御部５０から入力される色成分信号に基づき、照明光の色毎に設けられたフレームメモリ６３Ｂ，６３Ｇ，６３Ｒから撮像信号に対応するフレームメモリを選択し、選択したフレームメモリに撮像信号を記憶させる。
【００３３】
合成部６４は、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒに記憶されている画像データを読出し、各色の画像データに基づいてカラー画像データを合成する。
【００３４】
Ｙ／Ｃ変換部６５は、合成部６４によって合成されたＲＧＢカラー画像データを輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換する。Ｙ／Ｃ変換部６５によって生成された輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂは、表示処理部５３に送信され、表示処理部５３によってモニタ５に内視鏡カラー画像として逐次表示される。
【００３５】
測光部６６は、Ｙ／Ｃ変換部６５によって生成された輝度信号Ｙを取得し、画像の明るさを表す測光値を求める。測光値は、例えば画像の輝度平均値若しくはピーク値、又は輝度平均値及びピーク値の重み付け加算値などに基づく公知の測光方式を用いて求めることができる。
【００３６】
測光部６６によって求められた測光値は制御部５０に入力される。制御部５０は、測光値と目標値とを比較して光源ユニット４の発光ダイオード４０Ｂ，４０Ｇ，４０Ｒの光量を決定し、上記の照明制御信号を光源ユニット４のドライバ４１に送信する。
【００３７】
図４は、内視鏡装置１における画像表示の一例を示す。
【００３８】
画像処理部５２のフレームメモリ６３ＢにはＢ照明光下での撮像によって得られるＢ画像データが記憶され、フレームメモリ６３Ｂに記憶されたＢ画像データは、Ｂ照明光下で新たに撮像がなされる都度、その際に得られたＢ画像データによって更新される。フレームメモリ６３Ｇに記憶されたＧ画像データ、及びフレームメモリ６３Ｒに記憶されたＲ画像データもまた、同様にして、対応する色の照明光下で新たに撮像がなされる都度、その際に得られた画像データによって更新される。
【００３９】
合成部６４は、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒのいずれかが更新されると、その都度、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒに記憶されている画像データに基づいてカラー画像データを合成し、合成されたカラー画像データはＹ／Ｃ変換部６５及び表示処理部５３を経てモニタ５に逐次表示される。
【００４０】
図５は、撮像装置２０の構成を示す。
【００４１】
撮像装置２０は、上述のとおり、撮像素子３０と、読出部３１と、送信部３２と、ドライバ３３とを有している。
【００４２】
撮像素子３０は、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子であって、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサが用いられる。なお、Ｂ，Ｇ，Ｒの各色の照明光を被写体に順次照射する本内視鏡装置１において、撮像素子３０にはモノクロ撮像素子が用いられる。
【００４３】
撮像素子３０は、行列状に配列された多数の画素７０と、垂直走査部７１と、水平走査部７２とを含み、画素７０は、フォトダイオードＤ１と、増幅用トランジスタＭ１と、画素選択用トランジスタＭ２と、リセット用トランジスタＭ３とで構成されている。
【００４４】
また、撮像素子３０には、画素行毎にリセット線７３及び行選択線７４が設けられており、リセット線７３及び行選択線７４は垂直走査部７１に接続されている。そして、画素列毎に信号線７５が設けられており、信号線７５は、ＣＤＳ（Correlated Double Sampling）回路７６を介して列選択用トランジスタ７７に接続されている。
【００４５】
画素７０のフォトダイオードＤ１は、入射光量に応じた信号電荷を生成し、これを蓄積する。フォトダイオードＤ１に蓄積された信号電荷は、増幅用トランジスタＭ１によって増幅され、画素信号として出力される。
【００４６】
垂直走査部７１は、ドライバ３３から入力されるタイミング信号に基づいてリセット線７３を一定の周期で順に選択する。リセット線７３が選択されるのに伴い、選択されたリセット線７３にリセット用トランジスタＭ３が接続されている画素７０の信号電荷が破棄され、画素７０がリセットされる。
【００４７】
また、垂直走査部７１は、ドライバ３３から入力されるタイミング信号に基づいて行選択線７４を一定の周期で順に選択する。行選択線７４が選択されるのに伴い、選択された行選択線７４に画素選択用トランジスタＭ２が接続されている画素７０の画素信号が信号線７５に出力される。
【００４８】
ＣＤＳ回路７６は、信号線７５に出力された画素信号に含まれるノイズを除去し、ドライバ３３から入力されるタイミング信号に基づき、画素信号を一時的に保持する。
【００４９】
水平走査部７２は、ドライバ３３から入力されるタイミング信号に基づいて列選択用トランジスタ７７を順にオンとする。列選択用トランジスタ７７が順にオンとされるのに伴い、ＣＤＳ回路７６に一時的に保持されている画素信号が読出部３１に順次出力される。
【００５０】
読出部３１は、撮像素子３０から逐次出力される画素信号をデジタル変換するＡ／Ｄ変換器や、デジタル変換された画素信号を一時的に保持するメモリなどを含んで構成されている。読出部３１によって読み出された画素信号は、フレームの区切りを示すヘッダ情報と共に送信部３２からプロセッサユニット３に送信される。
【００５１】
以上の構成において、各画素７０のリセット、露光、読み出しの一連の動作は、画素行（ライン）単位で、撮像素子３０の画素配列におけるラインの並びの一方の端のラインＬ１から他方の端のラインＬｅｎｄに向けて順に行われ、その動作シーケンス（リセット、露光、読み出し）はライン間で一定の時間間隔をあけて開始される。従って、露光期間の開始時点及び終了時点はライン毎に異なるものとなる。
【００５２】
図６は、内視鏡装置１の動作の一例を示す。
【００５３】
図６に示す例では、撮像素子３０の画素配列におけるラインの並びの一方の端のラインＬ１から他方の端のラインＬｅｎｄまでを１フレームとし、１フレーム分のライン単位の動作シーケンスの終端にあたるラインＬｅｎｄの露光期間の終了時点を照明光の切り替えのタイミングとして、１フレーム毎に照明光がＲ照明光→Ｇ照明光→Ｂ照明光の順に切り替えられている。
【００５４】
そして、図示の例では、１フレーム分のライン単位の動作シーケンスの開始側にあたるラインＬ１〜Ｌ５の露光期間の一部が一つ前のフレームの終端ラインＬｅｎｄの露光期間に重複しており、ラインＬ１〜Ｌ５の露光期間は照明光の切り替え時点を跨いでいる。従って、ラインＬ１〜Ｌ５は、露光期間内に二つの照明光下で露光される。以下、露光期間内に二つの照明光下で露光されるラインを非一様露光ラインといい、露光期間の全期間に亘って単一の照明光が照射されるラインを一様露光ラインという。
【００５５】
例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、非一様露光ラインＬ１は、Ｒ照明光からＧ照明光への切り替え時点を境に、切り替え時点以降の第１期間Ｔ１ではＧ照明光下で露光され、切り替え時点以前の第２期間Ｔ２ではＲ照明光下で露光される。この場合に、非一様露光ラインＬ１の画素の画素信号は、非一様露光ラインＬ１が露光期間Ｔ０の全期間に亘ってＧ照明光下で露光されたとした場合の画素信号とは異なるものとなる。本内視鏡装置１では、画像処理部５２のゲイン補正部６０において非一様露光ラインの画素の画素信号を補正する。
【００５６】
図７は、非一様露光ラインの画素の画素信号の補正処理の一例を示す。
【００５７】
いずれのラインが非一様露光ラインとなるか、そして非一様露光ライン毎の第１期間Ｔ１は、ライン単位の動作シーケンスの開始順及び開始タイミング、並びに照明光の切り替えのタイミングに基づいて既知である。ゲイン補正部６０は、非一様露光ライン毎に、非一様露光ラインの第１期間Ｔ１の露光期間Ｔ０に対する時間比率ｔ（Ｔ１／Ｔ０）に基づき、非一様露光ラインの画素の画素信号を補正する。
【００５８】
具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ１の露光期間Ｔ０に対する時間比率をｔ、第２期間Ｔ２の露光期間Ｔ０に対する時間比率を１−ｔ、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式（１）により補正処理を行う。
【００５９】
Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ  ・・・（１）
【００６０】
式（１）の換算係数ｋは、照明光毎に設定され、一様露光ラインの複数の画素の画素信号に基づいて求めることができる。例えばＧ照明光下での撮像フレームにおいて非一様露光ラインがＲ照明光及びＧ照明光下で露光される場合に、Ｇ照明光に対応する換算係数ｋＧは、一様露光ラインの複数の画素のＧ照明光下での画素信号の信号値の和ＳＵＭＧと、Ｒ照明光下での画素信号の信号値の和ＳＵＭＲとの比ＳＵＭＲ／ＳＵＭＧとすることができる。換算係数ｋの算出に用いられる一様露光ラインの複数の画素の画素信号は、例えば各色の照明光下での直近の撮像フレームで得られた画素信号を用いることができる。
【００６１】
換算係数ｋの算出に用いられる一様露光ラインの複数の画素は、非一様露光ラインの隣に並ぶ一様露光ラインの画素であることが好ましく、図６に示す例では、ラインＬ６からラインの並び順に選ばれる一つ以上のラインの画素であることが好ましい。隣に並ぶライン間では色バランスが似通ったものとなり、式（１）による非一様露光ラインの画素の画素信号の補正精度を高めることができる。
【００６２】
なお、例えば粘膜などの代表的な被写体に関する換算係数ｋを予め求めておき、これをゲイン補正部６０に保持させておいてもよい。
【００６３】
以上の補正処理により、一照明光（例えばＧ照明光）及び他照明光（例えばＲ照明光）の二つの照明光下で露光される非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下（例えばＧ照明光）で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。そして、上記の補正処理によって混色の影響を低減できることにより、解像度やフレームレートを落とすことなく露光期間を確保することができ、画質を高めることができる。
【００６４】
なお、一般に、内視鏡観察では画像中心部に関心領域がおかれることから、非一様露光ラインは、図６に示す例のように、撮像素子３０の画素配列におけるラインの並びの端側に設けられることが好ましい。それによれば、混色の影響を画像縁部に限定することができる。
【００６５】
また、図６に示す例では、照明光の切り替えのタイミングが終端ラインＬｅｎｄの露光期間の終了時点とされているが、始端ラインＬ１の露光期間の開始時点とすることもできる。その場合には、１フレーム分のライン単位の動作シーケンスの終了側にあたるラインが非一様露光ラインとなる。また、図８に示すように、１フレーム分のライン単位の動作シーケンスの開始側及び終了側に非一様露光ラインが分散して設けられるように、照明光の切り替えのタイミングを設定することもできる。
【００６６】
図９は、内視鏡装置１の動作の他の例を示す。
【００６７】
図９に示す例は、照明光の切り替えのタイミングで画素リセットが行われる点で、図６に示した動作例と異なる。
【００６８】
例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、非一様露光ラインＬ１は、Ｒ照明光からＧ照明光への切り替え時点を境に、切り替え時点以降の第１期間Ｔ１ではＧ照明光下で露光され、切り替え時点以前の第２期間Ｔ２ではＲ照明光下で露光される。しかし、照明光の切り替えのタイミングでの画素リセットにより、第２期間Ｔ２のＲ照明光下での露光によって蓄積される信号電荷は破棄される。従って、非一様露光ラインＬ１の画素の画素信号は、第１期間Ｔ１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。
【００６９】
ただし、露光期間中の画素リセットに伴い、非一様露光ラインでは実質的に露光期間が短縮される。そのため、非一様露光ラインの画素の画素信号の信号レベルが低下する。この信号レベルの低下をゲイン補正部６０において補正する。
【００７０】
具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ１の露光期間Ｔ０に対する時間比率をｔ（Ｔ１／Ｔ０）、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式（２）により補正処理を行う。
【００７１】
Ｉｃ＝Ｉ／ｔ  ・・・（２）
【００７２】
以上の補正処理により、非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。
【００７３】
なお、照明光の切り替えのタイミングでの画素リセットは、少なくとも非一様露光ラインの画素について行われればよい。
【００７４】
また、図９に示す例においても、照明光の切り替えのタイミングを開始ラインＬ１の露光期間の開始時点とすることができる。また、開始側及び終了側に非一様露光ラインが分散して設けられるように、照明光の切り替えのタイミングを設定することもできる。
【００７５】
図１０は、内視鏡装置１の動作の他の例を示す。
【００７６】
図１０に示す例は、隣接する撮像フレームの全てのラインの露光期間と重複しない期間にのみ照明光が照射される点で、図６に示した動作例と異なる。この場合に、ラインＬ１〜Ｌ５の露光期間内に照明光が一照明光と照明光無しとで切り替わり、また、ラインＬｅｎｄ〜Ｌｅｎｄ−４の露光期間内にも照明光が一照明光と照明光無しとで切り替わる。
【００７７】
例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、開始側の非一様露光ラインＬ１は、照明光の切り替え時点を境に、切り替え時点以降の第１期間Ｔ１においてのみＧ照明光下で露光される。従って、非一様露光ラインＬ１の画素の画素信号は、第１期間Ｔ１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。また、終了側の非一様露光ラインＬｅｎｄは、照明光の切り替え時点を境に、切り替え時点以前の第１期間Ｔ１においてのみＧ照明光下で露光される。従って、非一様露光ラインＬｅｎｄの画素の画素信号は、第１期間Ｔ１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。
【００７８】
ただし、非一様露光ラインでは実質的に露光期間が短縮される。そのため、非一様露光ラインの画素の画素信号の信号レベルが低下する。この信号レベルの低下をゲイン補正部６０において補正する。
【００７９】
具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ１の露光期間Ｔ０に対する時間比率をｔ（Ｔ１／Ｔ０）、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式（３）により補正処理を行う。
【００８０】
Ｉｃ＝Ｉ／ｔ  ・・・（３）
【００８１】
以上の補正処理により、非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。
【００８２】
図１１は、図１０に示した内視鏡装置１の動作例の変形例を示す。
【００８３】
図１１に示す例は、撮像素子３０の画素配列におけるラインの並びの端側のラインであって、そのラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインを設け、このブランクラインを非一様露光ラインとしたものである。図示の例では、非一様露光ラインＬ１〜Ｌ３がブランクラインとされている。
【００８４】
撮像装置２０からプロセッサユニット３に送信される撮像信号は、上記の通りフレームの区切りを示すヘッダ情報などの画素信号以外の信号が含まれる。画素信号以外の信号を送信するためにフレーム間隔をあけてもよいが、フレームレートが低下する。これに対し、ブランクラインを設け、ブランクラインの画素の画素信号を破棄し、撮像フレームを構成するラインからブランクラインを除くことで、破棄される画素信号の送信に要する期間に画素信号以外の信号を送信することが可能となる。それにより、画素信号以外の信号を送信する期間を確保するためにフレーム間隔をあける必要がなくなり、フレームレートを高めることができる。
【００８５】
また、一般に、内視鏡観察では画像中心部に関心領域がおかれることから、ブランクラインを撮像素子３０の画素配列におけるラインの並びの端側に設けることにより、画素信号の欠損による影響を画像縁部に限定することができる。
【００８６】
そして、ブランクラインを非一様露光ラインとすることにより、撮像フレームを構成するラインとなる非一様露光ラインを減じ、混色の影響を低減することができる。さらに、隣接する撮像フレームの全てのラインの露光期間と重複しない期間にのみ照明光を照射する本例では、照明光の照射期間を延長して非一様露光ラインをさらに減じることができ、混色の影響を一層低減することができる。
【００８７】
なお、ブランクラインを設け、ブランクラインを非一様露光ラインとする構成は、上述した内視鏡装置１の他の動作例にも適用可能である。
【００８８】
上述した内視鏡装置１では、光源ユニット４に設けられた光源が発光ダイオード４０Ｂ，４０Ｇ，４０Ｒであるが、光源としてハロゲンランプやキセノンランプなどの白色ランプを用いることもできる。その場合に、光源ユニット４には、Ｂ，Ｇ，Ｒの各色の領域が設けられたカラーフィルタ及び絞りが設けられ、白色ランプから出射される白色光が回転されるカラーフィルタに通されることによりＢ，Ｇ，Ｒの各色の照明光が生成され、絞りが開閉されることによりＢ，Ｇ，Ｒの各色の照明光の光量が制御される。
【００８９】
図１２は、本発明の実施形態を説明するための内視鏡装置の他の例の機能ブロックを示す。
【００９０】
ここまで、Ｂ，Ｇ，Ｒの各色の照明光を順次照射する内視鏡装置の例を説明したが、図１２に示す内視鏡装置１０１は、白色光及び特殊光を順次照射するものである。
【００９１】
特殊光による内視鏡観察の一例として、生体組織の自家蛍光の観察が挙げられる。生体組織に波長４０５ｎｍ前後の光を照射すると、正常組織では波長５２０ｎｍ前後の緑色の蛍光が発生するのに対して、癌などの病変組織では蛍光が発生ぜず、又は蛍光が微弱となる。
【００９２】
白色光及び特殊光を順次照射する内視鏡装置１０１の照明装置は、第１の光源１４０ａ及び第２の光源１４０ｂと、第１の光源１４０ａ及び第２の光源１４０ｂを駆動するドライバ１４１と、ライトガイド１４２と、蛍光体１４３とで構成されている。
【００９３】
第１の光源１４０ａ及び第２の光源１４０ｂ並びにドライバ１４１は、光源ユニット１０４に設けられており、ライトガイド１４２は内視鏡本体２のユニバーサルコード１２、操作部１１、挿入部１０に跨ってそれらの内部に挿通されており、蛍光体１４３は挿入部１０の先端部１３においてライトガイド１４２の光出射側に設けられている。
【００９４】
第１の光源１４０ａは、発振波長４４０ｎｍ〜４６０ｎｍである青色レーザ光を発生させる半導体発光素子である。第１の光源１４０ａより出射される青色レーザ光は蛍光体１４３を励起する励起光である。
【００９５】
第２の光源１４０ｂは、発振波長４００ｎｍ〜４２０ｎｍである青色レーザ光を発生される半導体発光素子である。第２の光源１４０ｂより出射される青色レーザ光は生体組織に自家蛍光を生じさせる特殊光である。
【００９６】
第１の光源１４０ａ及び第２の光源１４０ｂに用いられる上記の半導体発光素子としては、例えばブロードエリア型のＩｎＧａＮ系レーザダイオードやＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードなどが用いられる。
【００９７】
蛍光体１４３は、第１の光源１４０ａによる青色レーザ光（励起光）の一部を吸収して緑色〜黄色に励起発光する一種以上の蛍光物質で構成されている。蛍光物質としては、例えばＹＡＧ（Ｙ３Ａｌ５Ｏ１２）系蛍光物質やＢＡＭ（ＢａＭｇＡｌ１０Ｏ１７）系蛍光物質などが用いられる。蛍光体１４３で生じる緑色〜黄色の蛍光と、吸収されずに蛍光体１４３を透過した第１の光源１４０ａによる青色レーザ光（励起光）とが合わされて白色光となる。
【００９８】
ドライバ１４１は、第１の光源１４０ａ及び第２の光源１４０ｂの各々の点灯・消灯及び光量を制御可能であり、第１の光源１４０ａ及び第２の光源１４０ｂが順次点灯されることにより、スペクトルが互いに異なる白色光及び特殊光が被写体に向けて順次照射される。撮像装置２０は、白色光及び特殊光の各照明光下で被写体を順次撮像し、各照明光に対応した撮像信号をプロセッサユニット３に送信する。なお、本内視鏡装置１０１では、撮像装置２０の撮像素子３０としてカラー撮像素子が用いられる。そして、白色光及び特殊光の各照明光に対応した画像データは、プロセッサユニット３で画像処理されてモニタ５に画像表示される。
【００９９】
本内視鏡装置１０１においても、白色光及び特殊光が被写体に順次照射され、撮像装置２０の撮像素子３０がローリングシャッタ方式で駆動されることに起因して、撮像素子３０の画素配列における一部のラインが露光期間に複数の照明光によって露光されてしまう混色が生じるが、上述した内視鏡装置１の種々の動作例、及び各動作例における画像処理部５２のゲイン補正部６０での補正処理を適用することにより、混色の影響を低減することができる。
【０１００】
なお、本内視鏡装置１０１の撮像素子３０がカラー撮像素子であるので、上述した換算係数ｋを用いた補正処理において、換算係数ｋは、照明光毎に且つ画素の色種毎に設定され、一様露光ラインの同一色種の複数の画素の画素信号に基づいて求めることができる。
【０１０１】
以上、説明したとおり、本明細書には下記事項が開示されている。
【０１０２】
（１）  スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、上記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、上記複数の照明光の切り換えに伴い、上記複数の照明光のうちの一照明光下で露光される第１期間が上記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、この非一様露光ラインが上記露光期間の全期間に亘ってこの一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、を備える内視鏡装置。
（２）  （１）の内視鏡装置であって、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率に基づいて上記補正処理を行う内視鏡装置。
（３）  （２）の内視鏡装置であって、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と他照明光とで切り替わり、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインが上記他照明光下で露光される第２期間の上記露光期間に対する時間比率を１−ｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ
（４）  （３）の内視鏡装置であって、上記補正部は、上記露光期間の全期間に亘って単一の照明光が照射される一様露光ラインの画素である複数の画素の上記一照明光下での画素信号の信号値の和ＳＵＭＡと、この複数の画素の上記他照明光下での画素信号の信号値の和ＳＵＭＢとの比ＳＵＭＢ／ＳＵＭＡに基づいて上記換算係数ｋを求める内視鏡装置。
（５）  （４）記載の内視鏡装置であって、上記複数の画素は、上記非一様露光ラインの隣に並ぶ上記一様露光ラインの画素である内視鏡装置。
（６）  （２）の内視鏡装置であって、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と他照明光とで切り替わり、上記撮像装置は、照明光が切り替わるタイミングで、少なくとも上記非一様露光ラインの画素のリセットを行い、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
（７）  （２）の内視鏡装置であって、上記照明装置は、隣接する撮像フレームの全てのラインの上記露光期間と重複しない期間にのみ上記照明光を照射し、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と照明光無しとで切り替わり、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
（８）  （１）から（７）のいずれか一つの内視鏡装置であって、上記非一様露光ラインは、上記撮像素子の画素配列におけるラインの並びの端側に設けられる内視鏡装置。
（９）  （１）から（８）のいずれか一つの内視鏡装置であって、上記撮像素子の画素配列におけるラインの並びの端側のラインであって、このラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインが上記撮像素子に設けられ、上記ブランクラインは上記非一様露光ラインである内視鏡装置。
【符号の説明】
【０１０３】
１     内視鏡装置
２     内視鏡本体
３     プロセッサユニット
４     光源ユニット
５     モニタ
１０   挿入部
１１   操作部
１２   ユニバーサルコード
１３   先端部
２０   撮像装置
３０   撮像素子
３１   読出部
３２   送信部
３３   ドライバ
４０Ｂ 青色発光ダイオード
４０Ｇ 緑色発光ダイオード
４０Ｒ 赤色発光ダイオード
４１   ドライバ
４２   ライトガイド
５０   制御部
５１   受信部
５２   画像処理部
５３   表示処理部
６０   ゲイン補正部
６１   ホワイトバランス補正部
６２   セレクタ部
６３Ｂ，６３Ｇ，６３Ｒ      フレームメモリ
６４   合成部
６５   Ｙ／Ｃ変換部
６６   測光部
７０   画素
７１   垂直走査部
７１   垂直走査部
７２   水平走査部
７３   リセット線
７４   行選択線
７５   信号線
７６   ＣＤＳ回路
７７   列選択用トランジスタ
【図１】
2015070937.tif 000003
【図２】
2015070937.tif 000004
【図３】
2015070937.tif 000005
【図４】
2015070937.tif 000006
【図５】
2015070937.tif 000007
【図６】
2015070937.tif 000008
【図７】
2015070937.tif 000009
【図８】
2015070937.tif 000010
【図９】
2015070937.tif 000011
【図１０】
2015070937.tif 000012
【図１１】
2015070937.tif 000013
【図１２】
2015070937.tif 000014