(57)【要約】【課題】スコープの経時変化に影響されることなく、観察画像の色再現を適切に行う。【解決手段】ホワイトバランス調整時において、メインランプを補助光源に切り替えて設置し、初期マトリクス係数によるマトリクス演算によって色補正処理を実行し、Ｒ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）を算出する。スコープ経時変化によって変化するＲ、Ｇ、Ｂ画像信号値と、マトリクス係数との対応関係を示すマトリクステーブルが事前に記憶されており、Ｒ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）と実質的に同じ画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）に用意されたマトリクス係数を選択し、画像信号処理回路における色補正処理に使用する。【選択図】図２
2016034416.tif 000002
【特許請求の範囲】
【請求項１】
ライトガイドを有するスコープと、
スコープ先端部に設けられたイメージセンサから読み出される画素信号に対し、マトリクス演算処理を施す画像信号処理部と、
照明光を放射し、主光源と切り替え可能な基準光源と、
マトリクス演算処理に用いられるマトリクス係数を設定する色調整部と、
前記ライトガイドの経時変化に起因する色成分変化を伴うカラー画像信号の値と、その色成分変化を補償するマトリクス係数との対応関係を示したマトリクステーブルを格納するメモリとを備え、
前記色調整部が、前記主光源から前記基準光源へ切り替えるとともに、マトリクステーブルに基づき、前記基準光源によって得られる参照カラー画像信号に対応するマトリクス係数を選択することを特徴とする内視鏡装置。
【請求項２】
前記色調整部が、前記主光源から前記基準光源への切り替えに応じて、あらかじめ定められた初期マトリクス係数を設定することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記色調整部が、ホワイトバランス調整処理前に、前記主光源から前記基準光源へ切り替え、マトリクス係数を選択することを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。
【請求項４】
前記色調整部が、マトリクス係数選択後、前記基準光源から前記主光源に切り替えることを特徴とする請求項１乃至３のいずれかに記載の内視鏡装置。
【請求項５】
スコープの機種ごとのマトリクステーブルが前記メモリに格納されていることを特徴とする請求項１乃至４のいずれかに記載の内視鏡装置。
【請求項６】
前記基準光源が、補助光源であることを特徴とする請求項１乃至５のいずれかに記載の内視鏡装置。
【請求項７】
ライトガイドを有するスコープの先端部に設けられたイメージセンサから読み出される画素信号に対し、マトリクス演算処理を施す画像信号処理部と、
照明光を放射する主光源と準光源とを切り替えを制御する光源切替制御部と、
マトリクス演算処理に用いられるマトリクス係数を設定する色調整部とを備え、
前記色調整部が、前記主光源から前記基準光源への切り替えに応じて、前記ライトガイドの経時変化に起因する色成分変化を伴うカラー画像信号の値と、その色成分変化を補償するマトリクス係数との対応関係を示したマトリクステーブルに基づき、前記基準光源によって得られる参照カラー画像信号に対応するマトリクス係数を選択することを特徴とする内視鏡用色調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スコープ（内視鏡）を使って器官内壁などの被写体を撮像し、処置等を行う内視鏡装置に関し、特に、スコープの経時変化に対する色補正、色調整処理に関する。
【背景技術】
【０００２】
内視鏡装置では、先端部にＣＣＤ、ＣＭＯＳなどのイメージセンサを設けたビデオスコープを体内に挿入し、器官内壁などを撮像する。イメージセンサから読み出された画素信号に対し、ホワイトバランス調整、色変換処理などを施すことにより、Ｒ、Ｇ、Ｂのカラー画像信号が生成される。
【０００３】
ビデオスコープに設けられたライトガイド（ファイバーバンドル）の分光透過特性は、経時変化によって劣化し、観察画像の画質、色再現性に影響を与える。このようなスコープ経時変化を防ぐため、特定の波長域の光をカットする専用フィルタを光路中に配置する。
【０００４】
一方、画像信号に対して色補正処理を行うことにより、スコープの経時変化に関わらず色再現性を維持することができる。例えば、ビデオスコープ使用時間、減菌処理回数などビデオスコープの使用状態を検知し、スコープの使用状態に応じてマトリクス係数を設定し、画像信号に対しマトリクス係数を乗じて色補正処理を行う（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２８５１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
専用フィルタの設置は、内視鏡装置の製造プロセスの煩雑化、コストアップを招く。また、照明用の光源についても、経時変化によって分光分布特性が劣化し、色再現性に影響を与える。そのため、スコープの使用時間等を考慮してマトリクス係数を設定しても、適切な色再現を実現することが難しい。
【０００７】
したがって、スコープの経時変化に伴う画像信号の色成分変化を正確に検知し、その変化に適したマトリクス係数を設定することが求められる。
【課題を解決するための手段】
【０００８】
本発明の内視鏡装置は、ライトガイドを有するスコープと、スコープ先端部に設けられたイメージセンサから読み出される画素信号に対し、マトリクス演算処理を施す画像信号処理部と、照明光を放射し、主光源と切り替え可能な基準光源と、マトリクス演算処理に用いられるマトリクス係数を設定する色調整部と、ライトガイドの経時変化に起因する色成分変化を伴うカラー画像信号の値と、その色成分変化を補償するマトリクス係数との対応関係を示したマトリクステーブルを格納するメモリとを備える。画像信号処理部では、例えばカラー画像信号に対する色補正処理においてマトリクス演算が行われる。基準光源は、例えば補助光源によって構成可能である。
【０００９】
本発明では、色調整部が、主光源から基準光源へ切り替えるとともに、マトリクステーブルに基づき、基準光源によって得られる参照カラー画像信号に対応するマトリクス係数を選択する。ここで、「カラー画像信号値の色成分変化を補償するマトリクス係数」とは、ライトガイドの経時変化がないときの色再現性と同等もしくはそれに近い同等の色再現性を実現させるマトリクス係数を表す。補助光源に基づく参照カラー画像信号からマトリクス係数が設定されると、主光源に切り替わり、設定されたマトリクス係数に基づいた色補正処理が実行可能となる。スコープの機種ごとのマトリクステーブルを用意してもよい。
【００１０】
参照カラー画像信号色調整部は、主光源から基準光源への切り替えに応じて、あらかじめ定められた初期マトリクス係数を設定することが可能である。例えば、色調整部が、ホワイトバランス調整処理前に、主光源から基準光源へ切り替え、マトリクス係数を選択する。この場合、白色被写体に応じたマトリクス係数を設定することが可能となる。
【００１１】
本発明の内視鏡用色調整装置は、ライトガイドを有するスコープの先端部に設けられたイメージセンサから読み出される画素信号に対し、マトリクス演算処理を施す画像信号処理部と、照明光を放射する主光源と準光源とを切り替えを制御する光源切替制御部と、マトリクス演算処理に用いられるマトリクス係数を設定する色調整部とを備え、色調整部が、主光源から基準光源への切り替えに応じて、ライトガイドの経時変化に起因する色成分変化を伴うカラー画像信号の値と、その色成分変化を補償するマトリクス係数との対応関係を示したマトリクステーブルに基づき、基準光源によって得られる参照カラー画像信号に対応するマトリクス係数を選択する。
【発明の効果】
【００１２】
このように本発明によれば、スコープの経時変化に影響されることなく、観察画像の色再現を適切に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態である電子内視鏡装置のブロック図である。
【図２】色補正処理を伴うホワイトバランス調整処理のフローチャートである。
【図３】ライトガイドの経時変化を反映したＲ、Ｇ、Ｂの画素信号値と、それに応じたマトリクス係数との対応関係を表すマトリクステーブルを示した図である。
【図４Ａ】ライトガイドの光学特性を示した図である。
【図４Ｂ】ライトガイドの経時変化を示した図である。
【発明を実施するための形態】
【００１４】
以下では、図面を参照して本実施形態である電子内視鏡システムについて説明する。
【００１５】
図１は、本実施形態である電子内視鏡装置のブロック図である。
【００１６】
電子内視鏡装置は、ビデオスコープ１０とプロセッサ３０とを備え、ビデオスコープ１０はプロセッサ３０に着脱自在に接続可能である。プロセッサ３０には、モニタ６０が接続されている。
【００１７】
プロセッサ３０は、キセノンランプなどのメインランプ（主光源）４８を備え、通常の内視鏡観察時に使用されるメインランプ４８は、ランプ駆動回路４３によって駆動される。メインランプ４８から放射された光は、集光レンズ４５を介してビデオスコープ１０内に設けられたライトガイド１１の入射端に入射する。補助光源４９は、ＬＥＤなどで構成された補助ランプであり、駆動機構（図示せず）によってメインランプ４８と切り替わって照明光を放射可能である。ライトガイド１１から射出した光は、配光レンズ２１を介してスコープ先端部１０Ｔから被写体（観察対象）に向けて照射される。
【００１８】
被写体において反射した照明光は、スコープ先端部１０Ｔに設けられた対物レンズ１３によって結像し、被写体像がイメージセンサ（ＣＣＤ、ＣＭＯＳなど）１２の受光面に形成される。イメージセンサ１２は駆動回路１７によって駆動され、１フレーム／フィールド分の画素信号がイメージセンサ１２から所定の時間間隔（例えば１／３０秒、１／６０秒間隔）で読み出される。イメージセンサ１２には、ここではＣｙ、Ｍｇ、Ｙｅ、Ｇ、あるいはＲ、Ｇ、Ｂなどの色要素を配列させた色フィルタ（図示せず）が配設されている。
【００１９】
イメージセンサ１２から読み出された一連の画素信号は、アンプ１４を経由して初期回路１５に入力し、デジタル化される。そして画像信号処理回路１６では、一連のデジタル画素信号に対し、ガンマ補正処理、色変換処理、ホワイトバランス処理などの画像信号処理が施される。これにより、Ｒ、Ｇ、Ｂカラー画像信号が生成される。
【００２０】
プロセッサ３０に送信された画像信号は、前段信号処理回路３２において所定の処理が施された後、画像メモリ３４に一時的に保存される。そして、後段信号処理回路３６において、輪郭強調処理、スーパーインポーズ処理などが画像信号に対して施される。画像信号が映像信号としてモニタ６０に出力されることにより、観察画像がリアルタイムでモニタ６０に表示される。
【００２１】
ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むシステムコントロール回路４０は、タイミングジェネレータ３８、後段信号処理回路３６などへ制御信号を出力し、プロセッサ３０が電源ＯＮ状態である間プロセッサ３０の動作を制御する。動作制御プログラムは、あらかじめＲＯＭに記憶されている。
【００２２】
ビデオスコープ１０がプロセッサ３０に接続されると、システムコントロール回路４０はスコープコントローラ１９と相互通信し、メモリ２０に格納されたスコープ特性（解像度、スコープ機種／種類など）に関するデータを取得する。スコープコントローラ１９は、タイミングジェネレータ１８などへ制御信号を出力し、ビデオスコープ１０の動作を制御する。
【００２３】
プロセッサ３０では、表示される被写体像の明るさが適正な明るさを維持するように自動調光処理が行われる。システムコントロール回路４０は、読み出された画素信号の輝度レベルを検出し、基準輝度値との差に基づいてモータドライバ４２を制御する。メインランプ４８とライトガイド１１との間には、モータ４４によって駆動される絞り４６が設けられており、絞り４６の開度を調整することによって照明光量が調整される。
【００２４】
プロセッサ３０のフロントパネル５０には、キャリブレーションボタン（図示せず）が設けられており、システムコントロール回路４０は、キャリブレーションボタンに対する操作を検出する。オペレータは、ホワイトバランス調整処理をおこなうとき、スコープ先端部１０Ｔをホワイトバランス調整用の筒状器具１００に挿入し、キャリブレーションボタンを操作する。筒状器具１００の筒底面は白色であり、ホワイトバランス調整を行うときに白色被写体として用いられる。
【００２５】
本実施形態では、ホワイトバランス調整を行うとき、ビデオスコープ１０のライトガイド１１の経時変化に伴うＲ、Ｇ、Ｂ画像信号の色成分変化、すなわちＲ、Ｇ、Ｂ画像信号それぞれの相対的出力レベルの変化を検知する。そして、画像信号処理回路１６において、Ｒ、Ｇ、Ｂ画像信号の色成分変化量に応じて色補正、色調整処理を実行する。
【００２６】
具体的には、画像信号値の色変化分を補償するように、画像信号に対してマトリクス係数を乗じて、Ｒ、Ｇ、Ｂ画像信号の相対的出力レベル（色レベル）を調整する。色補正処理は、以下の式に基づく。ただし、Ｒｉｎ、Ｇｉｎ、Ｂｉｎは、補正前のＲ、Ｇ、Ｂ画像信号値、Ｍはマトリクス、Ｋｒ１〜Ｋｒ３、Ｋｇ１〜Ｋｇ３、Ｋｂ１〜Ｋｂ３は、マトリクス係数、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔは、色補正後のＲ、Ｇ、Ｂ画像信号値を表す。
【００２７】
【数１】
2016034416.tif 000003
【００２８】
以下では、図２〜４を用いて、色補正処理について説明する。
【００２９】
図２は、色補正処理を伴うホワイトバランス調整処理のフローチャートである。図３は、ライトガイドの経時変化を反映したＲ、Ｇ、Ｂの画素信号値と、それに応じたマトリクス係数との対応関係を表すマトリクステーブルを示した図である。図４は、ライトガイドの経時変化を示した図である。
【００３０】
筒状器具１００にビデオスコープ１０をセットした状態でキャリブレーションボタンが操作されると、照明のため使用される光源が、メインランプ４８から補助光源４９に切り替えられる（Ｓ１０１）。そして、色補正処理に使用されるマトリクス係数として、初期マトリクス係数が設定される（Ｓ１０２）。初期マトリクス係数は、ライトガイドの経時変化がないと想定した場合の基準となるマトリクス係数であり、ここではＲｉｎ：Ｇｉｎ：Ｂｉｎが１：１：１となるような値（例えば、上記式においてＫｒ１＝Ｋｇ２＝Ｋｂ３＝１、それ以外は０）があらかじめ設定されている。
【００３１】
ステップＳ１０３では、色補正処理に参照されるＲ、Ｇ、Ｂ画像信号（参照カラー画像信号）として、初期マトリクス係数に基づいたＲ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）が算出される。Ｒ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）は、例えば、観察画像エリアの一部を抽出し、色ごとに平均値を算出することによって得られる。ライトガイド１１に経時変化が生じている場合、初期マトリクス係数に基づいたＲ、Ｇ、Ｂの画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）には、その経時変化に伴う色成分の変化、すなわちＲ、Ｇ、Ｂの画像信号値の比の変化が生じている。
【００３２】
図４では、Ｒ、Ｇ、Ｂの光に関し、ライトガイド１１に経時変化が生じていないときのライトガイド１１の分光透過特性を、それぞれ分布曲線“ＲＳ”、“ＧＳ”、“ＢＳ”によって表している（図４Ａ）。ビデオスコープ１０の使用経過とともに累積使用時間がある程度達すると、ライトガイド１１の分光透過特性が劣化する。ここでは、短波長域の相対的感度が以前と比べて低下した分光透過特性“ＲＳ’”、“ＧＳ’”、“ＢＳ’”を示している（図４Ｂ）。この結果、照明光全体の分光透過特性ＴもＴ’に変化し、黄色みを帯びた光に変化する。
【００３３】
色補正処理で用いられるマトリクス係数は、Ｒ、Ｇ、Ｂの画像信号値の色成分変化を補償する値に設定される。例えば、図４のようにライトガイド１１の分光透過特性が低下した場合、Ｂ成分の画像信号の値が相対的に減少する。これを補うため、Ｋｂ１、Ｋｂ２、Ｋｂ３、Ｋｒ３、Ｋｇ３、Ｋｂ３の値が、ライトガイド１１の分光分布特性が低下してない場合のマトリクス係数値と比べて大きな値が設定される。
【００３４】
ところで、ライトガイド１１の経時変化に伴う画像信号値の変化量は、ビデオスコープ１０の累積使用時間の違いによって異なる。そのため、累積的使用時間に応じて異なる画像信号値の変化量に合わせてマトリクス係数を設定する必要がある。また、ライトガイド１１の経時変化は、ライトガイドの種類、すなわち、ビデオスコープ１０の機種（種類）によって異なってくる。
【００３５】
図３には、ビデオスコープ１０の使用経過に伴うＲ，Ｇ，Ｂの画像信号の値（Ｒｄ、Ｇｄ、Ｂｄ）と、それに応じたマトリクス係数との対応関係を示すマトリクステーブルを示している。ここでは、ビデオスコープ１０を実際に使用しながら、所定時間間隔を置いて算出される画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）を、内視鏡装置の製品販売前に事前計測し、その計測値に適応したマトリクス係数を算出している。
【００３６】
使用開始直後の１回目の計測では、画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）に色変化量が含まれていないため、初期マトリクス係数と同じ値が設定されている。そして、ｎ回目まで画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）を計測し、それに応じたマトリクス係数を算出する。計測した画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）と算出したマトリクス係数との対応関係を表すマトリクステーブルは、あらかじめ不揮発性のメモリ３７に事前に記憶されている。
【００３７】
計測する時間間隔は、Ｒ、Ｇ、Ｂの画像信号の色変化量が明確に現れる時間間隔に設定される。また、あらかじめ計測される画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）の測定には、補助光源４９が使用される。
【００３８】
また、ビデオスコープ１０の機種（種類）に対応するため、ビデオスコープ１０の機種ごとにマトリクス係数が事前に算出され、記憶されている。図３では、異なる２機種Ｍ１、Ｍ２のビデオスコープ１０について、画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）と対応するマトリクス係数を示している。なお、Ｍ１、Ｍ２において１回目の画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）に対応するマトリクス係数は、ここでは初期マトリクス係数の値と同じである。
【００３９】
ステップＳ１０４では、メモリ３７にあらかじめ記憶されているマトリクステーブルを参照し、初期マトリクス係数に基づくＲ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）に一致する、あるいは最も近いＲ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）を選び、それに対応のマトリクス係数を選択する。
【００４０】
システムコントロール回路４０は、マトリクス係数のデータをスコープコントローラ１９へ制御信号を出力し、スコープコントローラ１９は、画像信号処理回路１６を制御して色補正処理用のマトリクス係数を選択されたマトリクス係数に設定する。その結果、画像信号処理回路１６では、選択されたマトリクス係数に基づく画像信号値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）が算出される。
【００４１】
ステップＳ１０５では、色補正処理の終了に合わせて補助光源４９からメインランプ４８に切り替えられ、ホワイトバランス調整処理が実行される。ホワイトバランス調整処理では、色補正処理された状態で画像信号値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）が１：１：１となるように、ゲイン処理される。これにより、メインランプ４８の経時変化などに起因するＲ、Ｇ、Ｂ画像信号の色変化が補償される。
【００４２】
このように本実施形態によれば、ホワイトバランス調整時において、メインランプ４８を補助光源に４９に切り替えて設置し、初期マトリクス係数によるマトリクス演算によって色補正処理を実行し、マトリクステーブル参照時に使用されるＲ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）を算出する。スコープ経時変化によって変化するＲ、Ｇ、Ｂ画像信号値と、マトリクス係数との対応関係を示すマトリクステーブルが事前に記憶されており、Ｒ、Ｇ、Ｂ画像信号値（Ｒｔ、Ｇｔ、Ｂｔ）と実質的に同じ画像信号値（Ｒｄ、Ｇｄ、Ｂｄ）に用意されたマトリクス係数を選択し、画像信号処理回路１６における色補正処理に使用する。
【００４３】
このように、スコープ経時変化に起因するＲ、Ｇ、Ｂ画像信号値の色成分変化を補償するようにマトリクス係数を設定することにより、経時変化のないＲ、Ｇ、Ｂ画像信号値と同値の画像信号値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）を得ることになり、観察画像の色再現性が維持される。
【００４４】
スコープ経時変化に起因するＲ、Ｇ、Ｂ画像信号の変化量は、ビデオスコープ１０の累積使用時間によって異なり、また、機種の違いによっても異なるが、スコープ使用経過状態、機種ごとにマトリクス係数を用意したマトリクステーブルをあらかじめ記憶させて参照することにより、様々な内視鏡作業状況において、適切なマトリクス係数を選択することができる。
【００４５】
交換頻度が多いメインランプは、使用とともにその分光分布特性が経時変化し、ランプの累積使用時間、機種などによってＲ、Ｇ、Ｂの画像信号値の変化量は異なる。また、交換前後で分光分布特性が相違してしまう。しかしながら、ほとんど使用されない非常用の補助光源をメインランプの代わりに使用することにより、メインランプの経時変化が影響することなく色補正処理を行うことができる。特に、ホワイトバランス時にスコープ経時変化、メインランプの経時変化が組み合わされて過度なゲイン処理が行われることを防ぐことができる。
【００４６】
また、ホワイトバランス調整時に色補正処理を行うことにより、白色被写体に基づく撮像を自動的に行うことができ、適切な初期マトリクス係数を設定することができる。一方、経時変化が実質的に生じていない補助光源を色補正処理に利用することにより、専用の光源を設けることなく色補正処理を行うことができる。
【００４７】
色補正処理については、色変換処理と一体化し、マトリクス係数を経時変化に応じて設定することも可能であり、色空間に応じたカラー画像信号値を算出するときに行ってもよい。また、ホワイトバランス調整時以外のときに色補正処理を行うようにすることもできる。Ｒ、Ｇ、Ｂ以外のカラー画像信号に対して色補正処理を行ってもよい。
【符号の説明】
【００４８】
１０  ビデオスコープ
１１  ライトガイド
１２  イメージセンサ
１６  画像信号処理回路（画像信号処理部）
１９  スコープコントローラ
４０  システムコントロール回路（色調整部、光源切替制御部）
４８  メインランプ（主光源）
４９  補助光源（基準光源）
Ｍ  マトリクス
【図１】
2016034416.tif 000004
【図２】
2016034416.tif 000005
【図３】
2016034416.tif 000006
【図４Ａ】
2016034416.tif 000007
【図４Ｂ】
2016034416.tif 000008