(57)【要約】【課題】ＣＭＯＳイメージセンサなどを使用して撮像する内視鏡装置において、観察画像に生じるノイズ成分を確実に除去する。【解決手段】ＣＭＯＳイメージセンサを備えた内視鏡装置において、ロータリーシャッタによって１／６０秒間隔で露光、遮光を交互に繰り返す。露光期間中に生成された被写体像の画素信号は、遮光期間においてライン順に読み出される。それとともに、遮光期間中、各ラインでは画素信号読み出し終了後に所定時間Ｊをおいてリセット信号が出力される。さらに、リセット信号出力後に遮光期間中露光によって得られた画素信号を読み出し、ノイズ成分を演算する。そして、ノイズ除去処理を行う。【選択図】図４
2014004103.tif 000002
【特許請求の範囲】
【請求項１】
Ｘ−Ｙ独立型の撮像素子と、
光源からの光を遮光する遮光部材と、
露光期間と遮光期間が交互に繰り返されるように、前記遮光部材を駆動する光量調整部と、
遮光期間中、その前の露光期間において前記撮像素子に生成された１フレーム分の画素信号を１ラインずつ順に読み出す撮像素子駆動部と、
読み出された１フレーム分の画素信号からノイズ成分を除去するノイズ除去処理部とを備え、
前記撮像素子駆動部が、遮光期間中、各ラインに対するリセット信号を、そのラインの画素信号読み出し終了に応じて出力し、さらに、その遮光期間中、リセット信号出力後に各ラインで生成される遮光画素信号を読み出し、
前記ノイズ除去処理部が、遮光画素信号からノイズ成分をラインごとに求めることを特徴とする内視鏡装置。
【請求項２】
前記ノイズ除去処理部が、画素信号の露光期間と、遮光画素信号の露光期間に基いて、遮光画素信号からノイズ値をライン毎に演算することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記撮像素子駆動部が、各ライン全体に渡って遮光画素信号全体を読み出すことを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。
【請求項４】
前記撮像素子駆動部が、各ラインの一部遮光画素信号を読み出すことを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。
【請求項５】
前記撮像素子駆動部が、画素信号読み出し終了からリセット信号出力までの期間が各ラインで等しくなるように、リセット信号を出力することを特徴とする請求項１に記載の内視鏡装置。
【請求項６】
前記撮像素子駆動部が、各ラインの遮光画素信号読み出し終了に応じて、遮光期間中に後段リセット信号を出力することを特徴とする請求項１乃至５のいずれかに記載の内視鏡装置。
【請求項７】
前記撮像素子駆動部が、遮光画素信号読み出し終了から後段リセット信号出力までの期間が各ラインで等しくなるように、後段リセット信号を出力することを特徴とする請求項６に記載の内視鏡装置。
【請求項８】
前記撮像素子駆動部が、１フィールド期間で１フレーム分の画素信号を読み出すことを特徴とする請求項１乃至７のいずれかに記載の内視鏡装置。
【請求項９】
前記遮光部材が、ロータリーシャッタを有することを特徴とする請求項１乃至８のいずれかに記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、器官内壁などの被写体を撮像する内視鏡装置に関し、特に、電子シャッタによる露光制御に関する。
【背景技術】
【０００２】
電子内視鏡装置では、ビデオスコープの先端部にイメージセンサ（撮像素子）を備えている。ＣＭＯＳイメージセンサの場合、グローバルシャッタ（ライン露光）に従い、行（水平ライン）ごとに順次画素信号を読み出し、リセット信号をライン毎に出力する（例えば、特許文献１参照）。
【０００３】
この場合、各ラインの露光期間が順次ずれるため、動く被写体を撮像すると、画像にいわゆる歪みが生じる。これを解消するため、ＣＭＯＳイメージセンサにグローバルシャッタ機能を持たせる構成が知られている。グローバルシャッタの場合、全行同時に蓄積電荷を吐き出すことにより画素配列全体に対して同時リセットを行ない、露光開始時間をライン間で一致させる。
【０００４】
しかしながら、グローバルシャッタでは、画素に光が漏れこむことによってノイズが生じる。これを防ぐ方法として、ロータリーシャッタなどメカニカルシャッタを用いて露光期間と遮光期間を交互に作り出し、遮光期間中にグローバルシャッタを働かせる方法が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５４７３６号公報
【特許文献２】特開２００６−１９１２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
グローバルシャッタを働かせた場合、露光開始時間を一致させることができても、１フレーム分の画素信号を同時に読み出すことはできず、ラインごとに順次読み出される。そのため、画素信号の読み出し開始されるまでの時間が、ラインごとに異なる。
【０００７】
ＣＭＯＳイメージセンサ等の場合、センサ傍に回路が実装されているため、熱の発生および回路動作などに起因して、ノイズが画素信号に乗りやすい。特に、回路近傍の画素ではノイズ量が相対的に大きくなり、画像全体で見るとノイズにバラツキがある。そのため、ＯＢ（黒）レベルに基いて画像全体に対し一律的なノイズ除去処理を行っても、十分にノイズを除去することができない。
【０００８】
したがって、メカニカルシャッタを利用する露光制御において、ラインごとに不均一に生じるノイズを確実に除去することが求められる。
【課題を解決するための手段】
【０００９】
本発明の内視鏡装置は、Ｘ−Ｙ独立型の撮像素子と、光源からの光を遮光する遮光部材と、露光期間と遮光期間が交互に繰り返されるように、遮光部材を駆動する光量調整部と、遮光期間中、その前の露光期間において撮像素子に生成された１フレーム分の画素信号を１ラインずつ順に読み出す撮像素子駆動部と、読み出された１フレーム分の画素信号からノイズ成分を除去するノイズ除去処理部とを備える。
【００１０】
例えば、撮像素子駆動部は、プログレッシブ出力に従い、１フィールド期間で１フレーム分の画素信号を読み出すことができる。また、遮光部材として、ロータリーシャッタを適用することが可能である。
【００１１】
本発明の撮像素子駆動部は、遮光期間中、各ラインに対するリセット信号を、そのラインの画素信号読み出し終了に応じて出力し、さらに、その遮光期間中、リセット信号出力後に各ラインで生成される画素信号（ここでは、遮光画素信号という）を読み出し、ノイズ除去処理部が、遮光画素信号からノイズ成分をラインごとに求める。
【００１２】
例えば、ノイズ除去処理部は、画素信号の露光期間と、遮光画素信号の露光期間に基いて、遮光画素信号からノイズ値をライン毎に演算することが可能である。
【００１３】
撮像素子駆動部が、各ライン全体に渡って遮光画素信号全体を読み出すことが可能である。あるいは、遮光画素信号の読み出しを早くするため、撮像素子駆動部が、各ラインの一部遮光画素信号を読み出すことも可能である。
【００１４】
画素信号読み出し終了からリセット信号出力までの期間は非常に短いため、トータルの電荷蓄積時間にはさほど影響しない。しかしながら、各ラインのトータル電荷蓄積時間を完全に等しくするため、撮像素子駆動部は、画素信号読み出し終了からリセット信号出力までの期間が各ラインで等しくなるように、リセット信号を出力してもよい。
【００１５】
撮像素子駆動部が、各ラインの遮光画素信号読み出し終了に応じて、遮光期間中に後段リセット信号を出力することが可能である。例えば撮像素子駆動部は、遮光画素信号読み出し終了から後段リセット信号出力までの期間が各ラインで等しくなるように、後段リセット信号を出力することが可能である。
【発明の効果】
【００１６】
ＣＭＯＳイメージセンサなどを使用して撮像する内視鏡装置において、観察画像に生じるノイズ成分を確実に除去することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態である電子内視鏡装置のブロック図である。
【図２】光量調整部材を示した図である。
【図３】画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。
【図４】第２の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。
【図５】第３の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。
【発明を実施するための形態】
【００１８】
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
【００１９】
図１は、第１の実施形態である電子内視鏡装置のブロック図である。
【００２０】
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ１０と、プロセッサ３０とを備え、ビデオスコープ１０はプロセッサ３０に着脱自在に接続される。プロセッサ３０には、モニタ１１２が接続されている。
【００２１】
プロセッサ３０は、白色光を放射するランプ３２を備え、ランプ３２から放射された光は、光量調整部材５０を介して、ビデオスコープ１０内に設けられたライトガイド１２に入射する。ライトガイド１２に入射した光は、配光レンズ（図示せず）を介してスコープ先端部１０Ｔから射出し、被写体（観察部位）に照射される。
【００２２】
スコープ先端部１０Ｔには、イメージセンサ１４を備えた撮像モジュール１３が実装されている。被写体で反射した光は、スコープ先端部１０Ｔに配置された対物レンズ（図示せず）によって結像し、イメージセンサ１４の受光面に被写体像が形成される。
【００２３】
ライトガイド１２とランプ３２との間に設けられた光量調整部材５０は、ロータリーシャッタおよび絞り（ここでは図示せず）を備える。ロータリーシャッタが回転することにより、露光期間と遮光期間が交互に現れることになり、被写体に対して照明光が間欠的に照射される。また、絞りの開閉によって光量調整が行われる。
【００２４】
イメージセンサ１４は、画素ごとに画素信号を読み出し可能なＸ−Ｙ独立型イメージセンサであり、ここではＣＭＯＳイメージセンサが適用されている。イメージセンサ１４の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、あるいはＲ、Ｇ、Ｂから成る色フィルタ要素をモザイク状に配列させた色フィルタ（図示せず）が配設されている。
【００２５】
内視鏡観察中、１フレーム分の画素信号が所定の時間間隔でイメージセンサ１４から順次読み出される。駆動回路１８は、ローリングシャッタ動作に従って画素信号を読み出すために、駆動信号およびリセット信号を出力する。
【００２６】
間欠的な照明に基いたプログレッシブ出力を行う、すなわち１フレーム期間に渡って露光、画素信号読み出しを順次行うため、露光期間、遮光期間はそれぞれ１フィールド期間に定められている。ここでは、ＮＴＳＣ方式に従い、１／６０秒に定められている（ＰＡＬ方式の場合１／５０秒）。
【００２７】
読み出されたアナログ画素信号は、ビデオスコープ１０のプロセッサ側に設けられた初期信号処理回路２４へ送られる。初期信号処理回路２４では、増幅処理などの初期処理がアナログ画素信号に対し施され、デジタル化される。デジタル化された１フレーム分の画素信号はプロセッサ３０へ順次送られる。
【００２８】
画像処理回路３６は、デジタル画素信号に対し、ガンマ処理、ホワイトバランス処理、色変換処理、ノイズリダクション等などを施す。これにより、Ｒ、Ｇ、Ｂ画像信号が生成される。生成されたＲ、Ｇ、Ｂ画像信号は、画像メモリ４２に一時的に格納された後、インターレース回路４１およびプログレッシブ出力回路４３へ送られる。
【００２９】
プログレッシブ出力回路４３は、１フレーム分のＲ、Ｇ、Ｂ画像信号をそのまま外部周辺機器（ここでは記録装置１１３）に出力する。一方、インターレース回路４１は、フレームメモリ（図示せず）を備えており、Ｒ、Ｇ、Ｂ画像信号をＯＤＤ、ＥＶＥＮの画像信号に分け、インターレース方式で画像信号をモニタ１１２へ出力する。
【００３０】
システムコントロール回路４０は、光量調整部材５０、タイミングジェネレータ４４等へ制御信号を出力し、プロセッサ全体の動作を制御する。タイミングジェネレータ４４は、各回路へクロックパルス信号を出力し、信号入出力タイミング、画素信号読み出しタイミング等を調整する。
【００３１】
一方、ビデオスコープ１０に設けられたスコープコントローラ２０は、タイミングジェネレータ２２などへ制御信号を出力し、ビデオスコープ１０全体の動作を制御する。スコープコントローラ２０は、システムコントロール回路４０との間でデータを相互通信可能である。
【００３２】
図２は、光量調整部材５０を示した図である。
【００３３】
光量調整部材５０は、ロータリーシャッタ７０と絞り８０とを備え、ロータリーシャッタ７０は軸Ｃ周りに一定速度で回転する。絞り８０は、軸Ｇを中心としてピボット回転可能である。
【００３４】
ロータリーシャッタ７０は、その周縁部に弧状の開口部７２を有し、略半周分に渡って形成されている。開口部７２以外の部分７４は遮光部として構成される。ランプ３２から照射される照明光の光束ＬＳは、ロータリーシャッタ７０の周縁付近と交差する。
【００３５】
そのため、ロータリーシャッタ７０が回転している間、照明光の透過、遮光が交互に繰り返される。絞り８０は、テーパー状の開口部８２を有する。絞り８０が軸回転するのに伴い、開口部８２の形状に従って通過する光量が変化する。これにより、観察画像の明るさが調整される。
【００３６】
図３は、画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。図３を用いて、露光動作について説明する。
【００３７】
ロータリーシャッタ７０は、１／６０秒間隔で露光期間、遮光期間が交互に入れ替わるように、一定速度で回転している。露光期間において蓄積された電荷が、被写体に応じた画素信号となる。
【００３８】
露光期間から遮光期間に移行すると、駆動回路１８からの駆動信号により、ライン露光が実行される。すなわち、第１ラインから第Ｎラインまで画素信号がライン順に読み出される。ただし、イメージセンサ１４の有効ライン数をここではＮとしている。遮光期間の略全体に渡って、１フレーム分の画素信号が読み出される。
【００３９】
各ラインでは、ライン上の画素信号すべての読み出しが終了すると、所定時間Ｊをおいてリセット信号が駆動回路１８から出力される。これにより、遮光期間内において電荷が蓄積開始される。リセット信号が、ローリングシャッタに従ってライン毎に順次出力される。各ラインの所定時間Ｊは、いずれも等しい。
【００４０】
各ラインのリセット信号出力後から次の露光期間開始までの時間は、ラインによって異なる。読み出し順が遅いラインほどその時間は短い。図２に示すように、第１ラインの露光期間開始までの時間Ｔ１Ａに比べ、読み出し順が最後の第Ｎラインの時間ＴＮＡの方が短い。
【００４１】
一方、次の遮光期間において画素信号が読み出し開始されるまでの時間は、読み出しライン順が早いほど短い。図２に示すように、遮光期間に移行してから画素信号読み出しが行われるまでの時間について、第１ラインの時間Ｔ１Ｂは、第Ｎラインの時間ＴＮＢに比べて短い。
【００４２】
上述したように画素信号読み出し終了からリセット信号出力までの期間Ｊはどのラインも等しく、また、ロータリーシャッタ７０の回転によって露光期間はいずれのラインも等しい。したがって、各ラインの遮光期間、露光期間、次の遮光期間に渡るトータル電荷蓄積時間は、いずれも等しい。例えば、第１ラインのトータル電荷蓄積時間「Ｔ１Ａ＋Ｔ０＋Ｔ１Ｂ」は、第Ｎラインのトータル電荷時間「ＴＮＡ＋Ｔ０＋ＴＮＢ」と等しい。
【００４３】
一般的に、駆動回路１８等はＣＭＯＳイメージセンサ１４傍に実装される。そのため、回路動作中、ノイズが画素信号に乗りやすい。イメージセンサ１４は、ノイズの影響が画素配列全体に対して均一に及ぶ特性をもつ。
【００４４】
上述したように、露光期間および露光期間を挟んで隣り合う遮光期間中のトータル電荷蓄積合計時間は、各ラインとも等しい。そのため、各ラインとも同じノイズ量が画素信号に重畳される。その結果、画像全体に対してノイズが均一に生じる。ＯＢ（optical black）画素を使ったノイズリダクション等を行うことによって、画像全体からノイズ成分が除去される。
【００４５】
このように本実施形態によれば、ロータリーシャッタ７０によって１／６０秒間隔で露光、遮光を交互に繰り返す。露光期間中に生成された被写体像の画素信号は、遮光期間においてライン順に読み出される。それとともに、遮光期間中、各ラインでは画素信号読み出し終了後に所定時間Ｊをおいてリセット信号が出力される。
【００４６】
ノイズが画像全体に対して均一であるため、平滑化処理など、観察画像に対して画像処理を施しても、画質低下を招かない。また、ＯＰ画素を使ったノイズリダクション処理によっても、画像全体から確実にノイズ成分を取り除くことができる。
【００４７】
さらに、グローバルシャッタ機能を用いないため、突発的なノイズが生じることもなく、また、イメージセンサの構造を複雑化しなくてすむ。
【００４８】
次に、図４を用いて第２の実施形態について説明する。第２の実施形態では、ノイズの値をライン毎に生じる演算をし、ノイズを除去する。それ以外の構成については、第１の実施形態と実質的に同じである。
【００４９】
図４は、第２の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。
【００５０】
第２の実施形態では、遮光期間中、画素信号読み出しおよびリセット信号が出力された後、さらに、画素信号（以下、遮光画素信号という）の読み出しおよびリセット信号（以下、後段リセット信号という）出力が行われる。
【００５１】
まず、リセット信号出力から所定期間Ｔ４が経過すると、遮光画素信号読み出しが、第１〜第Ｎラインに渡って順次行われる。そして、各ラインでは、遮光画素信号読み出し終了から所定時間Ｊ経過すると後段リセット信号が出力される。
【００５２】
遮光期間（１／６０秒間）中に遮光画素信号の読み出しを行うことにより、露光期間において画素信号に重畳するノイズの値を推定演算することができる。すなわち、所定期間Ｔ４の間に蓄積された電荷量を露光期間に合わせて換算すれば、露光期間中のノイズ量をラインごとに推定することができる。
【００５３】
露光時間をＴ３、遮光期間をＴ２とすると、トータル電荷蓄積時間は、第１の実施形態で説明したように、Ｔ３＋Ｔ５＋Ｔ６となる。ただし、Ｔ５は、後段リセット信号出力から露光期間開始までの期間を示し、Ｔ６は、露光期間終了から画素信号読み出し開始までの期間を示す。Ｔ２−Ｔ４＝Ｔ５＋Ｔ６であることから、所定期間Ｔ４の遮光画素信号値に（Ｔ３＋（Ｔ２−Ｔ４）／Ｔ４）を乗じることによって、ノイズ量が算出される。
【００５４】
第２の実施形態では、イメージセンサ１４は、駆動回路１８などの回路近傍にあるラインのノイズ量が他のラインのノイズと比べて大きい特性をもつ。画像処理回路３６は、この演算処理によって各ラインのノイズ量を算出し、画像メモリ４２に一時的に格納された１フレーム分の画像信号からノイズ成分を除去する。このとき、ラインごとに画素値からノイズ値を減算する。
【００５５】
このように第２の実施形態によれば、遮光期間中に被写体像の画素信号と、遮光画素信号とを続けて読み出す。これによって、各ラインのノイズ量を個別に演算することが可能となり、画像に対して不均一なノイズ分布が生じた場合においても、ＯＰ画素を用いることなく、確実にノイズ除去を行うことができる。
【００５６】
なお、第１の実施形態のようにノイズが画像に対して均一に分布する特性をもつイメージセンサであっても、確実にノイズ値を検出することができる。したがって、第１の実施形態にも適用可能である。
【００５７】
次に、図５を用いて第３の実施形態について説明する。第３の実施形態では、各ラインにおいて部分的に遮光画素信号を読み出す。それ以外の構成については、第２の実施形態と実質的に同じである。
【００５８】
図５は、第３の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。
【００５９】
第３の実施形態では、遮光画素信号を読み出すとき、第２の実施形態のように各ラインすべての画素信号を読み出すのではなく、一部の遮光画素信号を抽出して読み出す。ここでは、ライン中央位置にある画素のみから遮光画素信号を読み出す。したがって、遮光画素信号を読み出すときの周波数Ｍ２の方が、１フレーム分の画素信号を読み出すときの周波数Ｍ１よりも大きくなる。
【００６０】
これによって、遮光画素信号読み出しにかかる時間が非常に短くなり、各ラインとも後段リセット信号をすぐに出力することが出来る。そのため、画素信号読み出しスピードが比較的遅いイメージセンサであっても、ノイズ値を検出することができる。
【００６１】
なお、ＣＭＯＳイメージセンサ以外のＸ−Ｙ独立型イメージセンサを適用することも可能である。また、ロータリーシャッタ以外の機構を用いて、間欠的に照明する構成にしてもよい。
【符号の説明】
【００６２】
１０  ビデオスコープ
１４  イメージセンサ（撮像素子）
１８  駆動回路（撮像素子駆動部）
３０  プロセッサ
３６  画像処理回路（ノイズ除去処理部）
５０  光量調整部材
７０  ロータリーシャッタ（遮光部材）
【図１】
2014004103.tif 000003
【図２】
2014004103.tif 000004
【図３】
2014004103.tif 000005
【図４】
2014004103.tif 000006
【図５】
2014004103.tif 000007