(57)【要約】【課題】照明の光量が制限される場合においても、解像度を下げることなく安定した明るい画像を得る。【解決手段】撮像素子１５からの画像信号、およびこれに画素加算処理を施した画像信号を画像セレクタ１８にそれぞれ入力する。前段信号処理部１９からの画像信号の画像の明るさを判定する。明るさが暗いと判定され、ランプ２７の光量、絞り３２、撮像素子１５のシャッタ速度では調整ができないと判断されるとき、画像セレクタ１８の入力を直接入力から画素加算処理部１７からの入力に切替える。このとき超解像処理部２３において画素加算された画像信号の超解像処理を施し、解像度を復元する。解像度が復元された画像信号をモニタ１２へと出力する。【選択図】図１
2012045130.tif 000002
【特許請求の範囲】
【請求項１】
画像の明るさを評価する評価手段と、
入力画像信号に画素加算処理を施す画素加算処理部と、
前記画素加算処理を施された画像信号に超解像処理を施した超解像画像信号を生成する超解像処理部と、
出力を前記入力画像信号と前記超解像画像信号との間で切替える出力切替手段とを備え、
前記評価手段により前記画像が第１の明るさよりも暗いと判断されるとき、前記出力切替手段が、前記出力を前記入力画像信号から前記超解像画像信号に切替える
ことを特徴とする画像信号処理システム。
【請求項２】
前記画像信号処理システムが、前記画像を撮像する撮像素子と調光手段を更に備え、
前記出力切替手段が、前記画像が前記第１の明るさよりも暗く、かつ前記調光手段の制御では前記第１の明るさよりも前記画像を明るくできないときに前記出力を前記入力画像信号から前記超解像画像信号に切替え、
前記出力切替手段が、前記入力画像信号を出力するとき、前記調光手段または前記撮像素子のシャッタ速度を制御することにより前記画像の明るさが制御される
ことを特徴とする請求項１に記載の画像信号処理システム。
【請求項３】
前記出力切替手段が、前記画像が前記第１の明るさよりも暗く、かつ前記調光手段の制御では前記第１の明るさよりも前記画像を明るくできず、かつ前記撮像素子のシャッタ速度の制御では前記第１の明るさよりも前記画像を明るくできないときに、前記出力を前記入力画像信号から前記超解像画像信号に切替えることを特徴とする請求項２に記載の画像信号処理システム。
【請求項４】
前記画像信号処理システムが、前記出力切替手段が前記超解像画像信号を出力する頻度に基づいて前記調光手段または前記撮像素子の劣化または故障を警告する警告手段を備えることを特徴とする請求項２記載の画像信号処理システム。
【請求項５】
前記警告手段が、更にホワイトバランス処理における基準となる輝度成分値、絞り値、ランプ光量、シャッタ速度からのずれに基づいて前記劣化または故障を警告することを特徴とする請求項４に記載の画像信号処理システム。
【請求項６】
前記評価手段により、前記画像が前記第１の明るさよりも明るい第２の明るさよりも明るいと判断されるとき、前記出力切替手段が、前記出力を前記超解像画像信号から前記入力画像信号に切替えることを特徴とする請求項１〜５の何れか一項に記載の画像信号処理システム。
【請求項７】
前記画像信号処理システムが、前記画像を撮像する撮像素子と調光手段を更に備え、前記評価手段により、前記画像が前記第１の明るさよりも明るい第２の明るさよりも明るいと判断されると、前記調光手段および前記シャッタ速度による前記画像の明るさの制御を開始し、前記調光手段または前記シャッタ速度の制御幅が所定値よりも大きいときに前記出力切替手段が、前記出力を前記超解像画像信号から前記入力画像信号に切替えることを特徴とする請求項６に記載の画像信号処理システム。
【請求項８】
前記超解像画像信号に、超解像画像信号であることを示す情報を重畳することを特徴とする請求項１〜７の何れか一項に記載の画像信号処理システム。
【請求項９】
請求項１〜請求項８に記載の画像信号処理システムを備えることを特徴とする電子内視鏡システム。
【請求項１０】
画像の明るさを評価し、
入力画像信号に画素加算処理を施し、
前記画素加算処理を施された画像信号に超解像処理を施した超解像画像信号を生成し、
前記画像が第１の明るさよりも暗いと評価されるとき、出力を前記入力画像信号から前記超解像画像信号に切替える
ことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、明るい画像を得るために画素加算を行う画像信号処理装置に関する。
【背景技術】
【０００２】
例えば電子内視鏡では、ライトガイドを通して挿入部先端まで伝送された光を用いて撮影が行われる。撮影では適切な光量を供給し適切な露出を得るために、ランプ光量や絞りを制御して光の供給量が調整されるとともに電子シャッタが制御される。一方、監視用のビデオカメラにおいて、暗い画像を明るくするために水平ラインの数画素分の電荷を加算する手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２０９４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、内視鏡画像の撮影では、照明環境が激しく変化するためランプ光量、絞り、電子シャッタを制御しても画像が一時的に暗くなる場合がある。これは、ライトガイドで伝送できる光量に限界があることに起因する。このような問題に対してシャッタ速度を下げて対応することも考えられるが像ブレの問題から限界がある。また、特許文献１のように画素加算を行い撮像素子の感度を上げることも考えられるが、解像度が低下するという問題が発生する。
【０００５】
本発明は、照明の光量が制限される場合においても、解像度を下げることなく安定した明るい画像を得ることを課題としている。
【課題を解決するための手段】
【０００６】
本発明の画像信号処理システムは、画像の明るさを評価する評価手段と、入力画像信号に画素加算処理を施す画素加算処理部と、画素加算処理を施された画像信号に超解像処理を施した超解像画像信号を生成する超解像処理部と、出力を入力画像信号と超解像画像信号との間で切替える出力切替手段とを備え、評価手段により画像が第１の明るさよりも暗いと判断されるとき、出力切替手段が、出力を入力画像信号から超解像画像信号に切替えることを特徴としている。
【０００７】
画像信号処理システムは、画像を撮像する撮像素子と調光手段を更に備え、出力切替手段は、画像が第１の明るさよりも暗く、かつ調光手段の制御では第１の明るさよりも画像を明るくできないときに、出力を入力画像信号から超解像画像信号に切替え、出力切替手段が入力画像信号を出力するとき、調光手段または撮像素子のシャッタ速度を制御することにより画像の明るさが制御される。
【０００８】
出力切替手段は、画像が第１の明るさよりも暗く、かつ調光手段の制御では第１の明るさよりも画像を明るくできず、かつ撮像素子のシャッタ速度の制御では第１の明るさよりも画像を明るくできないときに、出力を入力画像信号から超解像画像信号に切替える。
【０００９】
画像信号処理システムは、出力切替手段が超解像画像信号を出力する頻度に基づいて調光手段または撮像素子の劣化または破損を警告する警告手段を更に備える。警告手段は、更にホワイトバランス処理において基準となる輝度成分値、絞り値、ランプ光量、シャッタ速度からのずれに基づいて劣化または破損を警告する。
【００１０】
評価手段により、画像が第１の明るさよりも明るい第２の明るさよりも明るいと判断されるとき、出力切替手段は、出力を超解像画像信号から入力画像信号に切替える。画像信号処理システムは、更に画像を撮像する撮像素子と調光手段を備え、評価手段により、画像が第１の明るさよりも明るい第２の明るさよりも明るいと判断されると、調光手段およびシャッタ速度による画像の明るさの制御を開始し、調光手段またはシャッタ速度の制御幅が所定値よりも大きいときに、出力切替手段は、出力を超解像画像信号から入力画像信号に切替える。また、画像信号処理システムは、超解像画像信号に、超解像画像信号であることを示す情報を重畳してもよい。
【００１１】
本発明の電子内視鏡システムは、上記画像信号処理システムを備えたことを特徴としている。
【００１２】
本発明の画像信号処理方法は、画像の明るさを評価し、入力画像信号に画素加算処理を施し、前記画素加算処理を施された画像信号に超解像処理を施した超解像画像信号を生成し、画像が第１の明るさよりも暗いと評価されるとき、出力を入力画像信号から超解像画像信号に切替えることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、照明の光量が制限される場合においても、解像度を下げることなく安定した明るい画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の電子内視鏡システムの構成を示すブロック図である。
【図２】本実施形態の電子内視鏡の撮像動作を示すフローチャートである。
【図３】内視鏡画像のマスク領域に表示モードを重畳したモニタ画像の一例である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である電子内視鏡システムの構成を示すブロック図である。
【００１６】
電子内視鏡システムは主に、スコープ本体１０と、スコープ本体１０が着脱自在に接続され各種画像処理を行うプロセッサ装置１１と、このプロセッサ装置に接続されスコープ本体１０で撮影された映像を表示するモニタ装置１２などから構成される。
【００１７】
スコープ本体１０は、体内や管孔内に挿入される可撓性を有する長尺管状の挿入部と、挿入部が接続されユーザにより把持・操作される操作部と、操作部とプロセッサ装置１１を連結するユニバーサルコードから構成される。挿入部の先端部１３には撮像レンズ１４および撮像素子１５が設けられ、撮像素子１５は例えば操作部に設けられたドライバ／信号処理部１６によって駆動される。また、本実施形態のスコープ本体１０には、画素加算処理部１７と画像セレクタ１８が設けられる。撮像素子１５で検出された画像信号は、直接画像セレクタ１８にそれぞれ入力されるとともに、画素加算処理部１７を介して画像セレクタ１８に入力される。
【００１８】
画像セレクタ１８は、入力される画像信号のうちの一方を選択的にドライバ／信号処理部１６に出力する。画像信号は、その後ドライバ／信号処理部１６からユニバーサルコードを介してプロセッサ装置１１に設けられた前段信号処理部１９へと送られる。なお、画像セレクタ１８における入力信号の選択は、プロセッサ装置１１のシステムコントローラ２０によって制御される。
【００１９】
プロセッサ装置１１では、ドライバ／信号処理部１６からの画像信号に対して、まず前段信号処理部１９において所定の前段処理（ホワイトバランス処理等）が施され、画像処理部２１において更に所定の画像信号処理（例えばユーザによって指定されるガンマ補正やカラーバランス補正に対応する処理など）が施される。また、前段信号処理部１９で処理された信号は、画像の明るさを判定するためにシステムコントローラ２０にも出力される。
【００２０】
一方、画像処理部２１から出力された画像信号は、セレクタ２２に直接入力されるとともに超解像処理部２３を介してセレクタ２２に入力される。またはセレクタ２２からの出力は後段映像信号処理部２４および保存画像用信号処理２５へ出力される。超解像処理部２３では超解像技術を用いて画像信号（画像データ）の解像度が高められる（あるいは復元される）。また、後段映像信号処理部２４は、入力された画像信号を所定規格の画像信号に変換してモニタ１２に出力する。なお、セレクタ２２における選択は、システムコントローラ２０からの指令に基づいて一方から他方へと切替えられる。
【００２１】
また保存画像用信号処理部２５では、システムコントローラ２０からの静止画の保存要求に従って、入力された画像信号を所定の画像フォーマットでプロセッサ装置１１に装着された不揮発性の外部メモリ２６へ保存する（プロセッサ装置に内蔵されるメモリでもよい）。なお、静止画保存要求は、例えばスコープ本体１０の操作部に設けられた静止画保存用のスイッチ３６の操作に基づいてシステムコントローラ２０によって発せられる。
【００２２】
また、本実施形態のプロセッサ装置１１にはランプ２７が設けられ、ランプ２７からの光は集光レンズ２８を通してスコープ本体１０のライトガイド２９に入射される。ライトガイド２９は、ユニバーサルコード、操作部、挿入部を介して先端部１３まで配設され、入射された光は、先端部１３にまで伝送され照明レンズ３０を介して照射される。ランプ２７の明るさは、システムコントローラ２０からの指令に基づいてランプ制御回路３１によって制御される。
【００２３】
また、集光レンズ２８とライトガイド２９の間には、光路を横切るように、絞り３２が設けられる。絞り３２はモータ３３によって駆動され、ライトガイド２９に入射される光量が調整される。なお、モータ３３は、システムコントローラ２０からの指令に基づいてドライバ３４によって制御される。
【００２４】
システムコントローラ２０には、不揮発性のメモリ３５が接続されており、メモリ３５には、基準となる画像データのＲＧＢ輝度成分値と、絞り値、ランプ光量（光源強さ）、シャッタ速度が記録されている。基準値としては、例えばホワイトバランス調整用の治具（例えば内部が白色に塗られた円筒治具）を撮影するときの基準値が用いられる。
【００２５】
なお、ドライバ／信号処理部１６やプロセッサ装置１１内の各デバイスの動作タイミングは、プロセッサ装置１１のタイミングコントローラ３７からの各種クロック信号によって制御される。
【００２６】
以上の構成において、本実施形態では、絞り値、ランプ光量（光源強さ）、シャッタ速度の調整（調光およびシャッタ速度の調整）で十分な明るさが確保されないとき、通常モードにおける絞り値、ランプ光量（光源強さ）、シャッタ速度制御による明るさ調整に代え、画素加算を行い撮像素子の感度を高めるとともに超解像処理を行って解像度の低下を防止する高感度モードで画像表示を行う。
【００２７】
次に、図１および図２のフローチャートを参照して、本実施形態における撮像動作について説明する。なお、本処理は、システムコントローラ２０を中心に実行される。
【００２８】
ステップＳ１００では、前段信号処理部１９からの画像信号がシステムコントローラ２０へ入力され、画像の明るさが検出される。すなわち、画像の明るさは、例えば画像全体あるいは特定領域内の輝度値の総和あるいは平均値を輝度評価値として求められる。
【００２９】
ステップＳ１０２では、ステップＳ１００で算出された輝度評価値が、予め設定された上限値よりも高いか否かが判定される。上限値よりも高いときには、画像輝度が強すぎると判断され、ステップＳ１２６において、ドライバ３４、ランプ制御回路３１、あるいはドライバ／信号処理部１６を制御して、画像輝度が下がるように絞り、ランプ光量、シャッタ速度が調整され、処理はステップＳ１００へと戻る。
【００３０】
一方、ステップＳ１０２において輝度評価値が上限値よりも低いときには、ステップＳ１０４において、輝度評価値が第１下限値よりも低いか否か（所定の明るさよりも暗いか否か）が判定される。輝度評価値が第１下限値よりも低く、画像輝度が不足していると判断されるときには、ステップＳ１０６において、絞り値、ランプ光量、シャッタ速度を制御することで第１下限値よりも明るい明るさに調節が可能であるか否かが判定される。例えば、現在の状態が、絞り開放限界に達していない、ランプの電圧ないし電流限界に達していない、あるいはシャッタ速度が下限値に達していない等の状態にある場合には、絞り値、ランプ光量、シャッタ速度の少なくとも何れかを制御することで画像輝度の調整が可能であると判断してステップＳ１２６に移行し、ドライバ３４、ランプ制御回路３１、あるいはドライバ／信号処理部１６を制御して、画像輝度が上がるように絞り、ランプ光量、シャッタ速度が調整され、処理はステップＳ１００へと戻る。
【００３１】
一方、ステップＳ１０４において、輝度評価値が第１下限値よりも高く、画像輝度が不足していないと判断されるときにはステップＳ１２４にジャンプし、通常モードの撮像・画像表示が継続され、処理はステップＳ１００に戻る。
【００３２】
また、ステップＳ１０６において、絞り値、ランプ光量、シャッタ速度の制御では調節ができないと判断される場合、画素加算および超解像処理を用いる本実施形態の高感度モードによる撮像を開始する。本実施形態では、まずステップＳ１０８において高感度モードの使用回数を計数するカウント値がインクリメントされ、ステップＳ１１０においてカウント値が既定値以内であるか否かが判定される。
【００３３】
これは、高感度モードへの切替え頻度を評価するものであり、高感度モードが頻繁に使用される場合には、ライトガイドや、ランプ、あるいは撮像素子に劣化や故障が発生している可能性が高い。したがって、ステップＳ１１０のカウント値の評価は、例えば単位時間当たりのカウント値が既定値以内であるか否かが判定される。カウント値が既定値よりも大きい場合には、ステップＳ１１２において修理・点検を促すメッセージをモニタ１２やプロセッサ装置１１のフロントパネルなどに表示され、その後にステップＳ１１４へと処理は移される。
【００３４】
一方、カウント値が既定値以内であれば、処理は直接ステップＳ１１４へ移る。ステップＳ１１４では、画像セレクタ１８の入力が、撮像素子１５からの直接入力から画素加算処理部１７からの入力に切替えられ、これと同期してセレクタ２２の出力が後段映像信号処理部２４および保存画像用信号処理部２５への直接出力から超解像処理部２３へと切替えられる。これにより、モニタ１２には、画素加算処理がなされるとともに超解像処理が施された画像が高感度モードの画像として表示される。
【００３５】
なお、高感度モードによる画像表示では、表示されている内視鏡画像が高感度モードで表示されていることを示す表示が行われる。例えば、システムコントローラ２０からの指示に基づき、後段映像信号処理部２４が出力する画像信号にキャラクタや記号を重畳する。図３はそのような画面表示の一例を示し、高感度モードで表示されている内視鏡画像Ａを囲むマスク領域Ｍに「高感度モード」の文字列が重畳されている。
【００３６】
なお、通常の状態、すなわち絞り値、ランプ光量、シャッタ速度の制御で明るさが調整可能な状態や撮像開始時には、画像セレクタ１８には撮像素子１５から画像信号が直接入力され、セレクタ２２は、後段映像信号処理部２４および保存画像用信号処理部２５への画像信号を直接出力している。
【００３７】
その後ステップＳ１１６では、次のフレームの画像信号が前段信号処理部１９からシステムコントローラ２０へ入力され、ステップＳ１００と同様に輝度評価値が求められる。ステップＳ１１８では、輝度評価値が第２下限値（≧第１下限値）よりも低いか否かが判定される。輝度評価値が第２下限値よりも低く、画像輝度が不足していると判断されるときには、処理はステップＳ１１４に戻り、以下同様に高感度モードによる動画像表示が継続される。
【００３８】
一方、ステップＳ１１８において、輝度評価値が第２下限値よりも高く（所定明るさよりも明るく）、画像輝度が不足していないと判断されるときには、ステップＳ１２０において、絞り値、ランプ光量、シャッタ速度の調整により明るさの調整が試みられる。次にステップＳ１２２において調整幅が十分に確保されたか否かが判断される。例えば、絞り値、ランプ光量、シャッタ速度の各々の変更量が所定値よりも大きいか、あるいはそれらに重み付けして足し合わせた値が所定値よりも大きいか否かを判定することで判断される。調整幅が十分に確保されていないと判断されるときには、処理はステップＳ１１４に戻り、高感度モードによる動画像表示が継続される。
【００３９】
一方、調整幅が十分に確保されたと判断されるときには、ステップＳ１２４において、高感度モードによる画像表示は停止されるとともに、ドライバ３４、ランプ制御回路３１、ドライバ／信号処理部１６を制御する通常モードにおける光量調整が再開され、処理はステップＳ１００へと戻る。
【００４０】
以上のように、本実施形態によれば、ライトガイドにより伝送できる光量の限界に達した場合にも、解像度を落とすことなく明るい画像を表示することができる。
【００４１】
なお、本実施形態において、第２下限値は第１下限値と等しくてもよいが、第１下限値よりも大きな値であることが好ましい。すなわち、高感度モードに入った後は、画像輝度が不足していると判断され易くすることで、通常モード、高感度モード間の切替えにおけるハンチングを防止できる。
【００４２】
本実施形態では、ライトガイド、ランプ、撮像素子の劣化や故障などを高感度モードが設定される単位時間当たりの頻度を目安に判断したが、ホワイトバランス治具を用いたホワイトバランス処理において、メモリ２５に記憶されたＲＧＢ輝度成分値、絞り、ランプ光量、シャッタ速度の基準値からのずれに基づいて判断することも可能である。例えば、ホワイトバランス処理において基準値から大きく外れる場合をカウントし、この値を図２のステップＳ１１０におけるカウント値の評価に加味することも可能である。すなわち、ホワイトバランス処理はホワイトバランス治具を用いているため、観察時に比べて安定した画像を用いて明るさの判断が行われるので、観察時より重み付けを大きくしてカウントを行う。
【００４３】
また、画素加算処理において、加算される隣接画素数を複数用意し、明るさに応じて加算される画素数を変更する構成（例えば隣接４画素から隣接６画素へ変更する構成）とすることもできる。この場合、加算画素数に対応する超解像処理がそれぞれ実行される。
【００４４】
また、本実施形態では、調整幅による判定も加えることで、より安定した制御が行える。なお、通常モード、高感度モードの静止画などは、外部メモリに保存可能であり、その場合例えばＥＸＩＦデータにモードの種類を記録される。
【符号の説明】
【００４５】
１０  スコープ本体（電子内視鏡）
１１  プロセッサ装置
１２  モニタ
１５  撮像素子
１７  画素加算処理部
１８  画像セレクタ
１９  前段信号処理部
２０  システムコントローラ
２２  セレクタ
２３  超解像処理部
２４  後段映像信号処理部
２５  保存画像用信号処理部
２６  外部メモリ
２７  ランプ
２９  ライトガイド
２３  超解像処理部
３１  ランプ制御回路
３２  絞り
３３  モータ
３４  ドライバ
３５  メモリ
【図１】
2012045130.tif 000003
【図２】
2012045130.tif 000004
【図３】
2012045130.tif 000005