(57)【特許請求の範囲】
【請求項１】
撮像手段からの撮像信号に対して信号処理して映像信号を生成する内視鏡撮像装置において、
表示される内視鏡像の色再現性を可変設定するカラーモード設定手段と、
該カラーモード設定手段により設定された第１のカラーモードの状態でホワイトバランス用の基準被写体を撮像した状態での基準撮像信号に対してホワイトバランス補正するホワイトバランス補正手段と、
該ホワイトバランス補正手段により補正された前記第１のカラーモードのカラーモード対応係数を記憶する記憶手段と、
前記カラーモード設定手段のカラーモード設定の変更がされた場合に、その変更前の補正された前記第１のカラーモードの前記カラーモード対応係数を用いて、等価的にカラーモードの変更後の第２のカラーモードの状態で前記基準被写体の信号が入力された状況を再現して、前記第２のカラーモードのカラーモード対応係数に対するホワイトバランス補正の処理を行う処理手段を設けたことを特徴とする内視鏡撮像装置。
【請求項２】
前記カラーモード対応係数は、係数行列であり、
前記処理手段は、前記第２のカラーモードの前記カラーモード対応係数に前記第１のカラーモードの前記カラーモード対応係数の逆行列を乗算して得られた行列を、撮像信号の行列に作用させることによって、等価的に前記カラーモードの変更後の第２のカラーモードの状態で前記基準被写体の信号が入力された前記状況を再現することを特徴とする請求項１に記載の内視鏡撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は内視鏡を用いて被写体像を撮像した撮像信号に対する信号処理を行う内視鏡撮像装置に関する。
【０００２】
【従来の技術】
一般に内視鏡撮像装置による診断、手術は、ＴＶモニタに表示された観察像に基づいて実施される為、正確な診断、手術を実施するためには観察像の色再現性を忠実にＴＶモニタに再現する事が必要とされている。
【０００３】
そこで、この種の内視鏡撮像装置においては、使用する光源装置、固体撮像素子の感度差、カラーフィルタの分光感度差、映像信号処理回路のばらつき等に起因する色再現性のばらつきを補正する為に、ホワイトバランス補正（ホワイトバランス調整）機能が設けられている。
【０００４】
通常の使用においては、内視鏡撮像装置を起動した後に白色の被写体を撮像し、操作スイッチによってホワイトバランス補正機能を動作させて、ホワイトバランス補正を行なった後に患者の診断、手術を実施する事によって、患部等の色再現性を忠実にＴＶモニタに再現するようになっている。
【０００５】
また、近年の内視鏡撮像装置は、上述のホワイトバランス補正に加えて、光源装置のランプの種別に起因する演色性の違いや、ユーザーの好みに対応する為にカラーモード設定手段を設け、使用する光源装置の種類や好みに応じてユーザが色再現性を設定する事が可能となっている。
【０００６】
上述した従来の内視鏡撮像装置が、例えば特開２０００−２２１４１７、特開２００１−１１２７１２に開示されている。
【０００７】
【発明が解決しようとする課題】
ここで、従来の内視鏡撮像装置においてカラーモードの変更を行なう場合、変更の前後でホワイトバランス補正が適正でなくなる課題があった。
【０００８】
すなわち、あるカラーモードＡでホワイトバランス補正を行なった後に、別のカラーモードＢに設定変更した場合、ホワイトバランスを決定するマトリックス係数行列のパラメータにカラーモードＢの係数を書き込むように動作するため、適切な色再現の画像を得る為には再度ホワイトバランス補正を行なう必要があった。
【０００９】
この為、ユーザがカラーモードを変更する場合には、例えばスイッチを２回押す等、カラーモード変更の為の操作と、ホワイトバランス補正の為の操作とが必要となり、内視鏡撮像装置の操作性が低いという欠点があった。
【００１０】
特にホワイトバランス補正を行う場合には、白色の紙あるいは白色の治具等の基準被写体を必要とするため、挿入部を体内に挿入した診断中等の状態の電子内視鏡でカラーモードを変更しようとする場合には、挿入部を体外に出す操作が必要となり、操作性が低下する。
【００１１】
また、特開２０００−２２１４１７の従来例の第３の実施の形態ではカラーモードの変更に応じて自動的にホワイトバランス係数を切り替える方法についても開示されているが、この従来例ではホワイトバランス係数を切り替える場合、予め内視鏡撮像装置内に記憶された係数を用いて行なう為、内視鏡撮像装置に着脱自在で接続される撮像素子の特性が異なる場合には、その色再現性を適正に補正できない欠点があった。
【００１２】
つまり、特開２０００−２２１４１７の従来例の第３の実施の形態では所定値の大小に応じてカラーマトリックスを内視鏡撮像装置内のＲＯＭより読み出し、このマトリックスに基づいてゲイン量を計算し、このゲイン量に基づいてホワイトバランス補正を行っている。このように、単に所定値より大きいか否かの判断結果により光源の種類を判断して、カラーマトリックスを切り替えるようにしたものであり、撮像素子の特性が異なるような場合には対応できない。
【００１３】
（発明の目的）
本発明は上記欠点を解決すべくために提案されたもので、撮像手段の特性に影響されることなく、色再現性を確保し、かつ診断中、手術中に術者を煩わせる事なくカラーモードの変更を行なう事が可能な操作性に優れた内視鏡撮像装置を提供する事を目的とする。
【００１４】
【課題を解決するための手段】
本発明の内視鏡撮像装置は、撮像手段からの撮像信号に対して信号処理して映像信号を生成する内視鏡撮像装置において、表示される内視鏡像の色再現性を可変設定するカラーモード設定手段と、該カラーモード設定手段により設定された第１のカラーモードの状態でホワイトバランス用の基準被写体を撮像した状態での基準撮像信号に対してホワイトバランス補正するホワイトバランス補正手段と、該ホワイトバランス補正手段により補正された前記第１のカラーモードのカラーモード対応係数を記憶する記憶手段と、前記カラーモード設定手段のカラーモード設定の変更がされた場合に、その変更前の補正された前記第１のカラーモードの前記カラーモード対応係数を用いて、等価的にカラーモードの変更後の第２のカラーモードの状態で前記基準被写体の信号が入力された状況を再現して、前記第２のカラーモードのカラーモード対応係数に対するホワイトバランス補正の処理を行う処理手段を有する。
【００１５】
【発明の実施の形態】
本発明の実施の形態を図１及び図２を参照して説明する。図１は本発明の内視鏡撮像装置の１実施の形態のビデオプロセッサの構成を示し、図２はカラーモード変更時の動作内容を示す。
【００１６】
図１に示すように電子内視鏡１の先端に配設された固体撮像素子２から出力された撮像信号は、映像信号生成の処理を行うビデオプロセッサ３に入力される。
つまり、撮像信号はビデオプロセッサ３の相関二重サンプリング回路（ＣＤＳ回路と略記）４に入力され、相関二重サンプリングされて信号成分が抽出された後、Ａ／Ｄ変換回路５に入力されてデジタル信号に変換される。
【００１７】
Ａ／Ｄ変換回路５の出力信号はフォトカプラ等、電気的に絶縁する絶縁回路（図１ではＩＳＯと略記）６に入力され、入力されたデジタルの映像信号を電気絶縁して色分離回路を構成するＦＩＲ回路７に入力される。
【００１８】
このＦＩＲ回路７により固体撮像素子２の隣接画素演算等がされて輝度信号（Ｙ）及びクロマ信号（Ｃｒ及びＣｂ）が作成され、、輝度信号Ｙ、クロマ信号Ｃｒ、Ｃｂはカラー信号の変換を行うマトリックス回路（ＭＴＸ回路と略記)８に入力される。このＭＴＸ回路８により入力されたＹ、Ｃｒ、Ｃｂ信号は式１によるマトリックス演算によって、Ｒ、Ｇ、Ｂ信号に変換された後、Ｒ、Ｇ、Ｂ信号はＤ／Ａ変換回路９と検波回路１１に入力される。
【００１９】
【式１】
0003978039.tif 000002
検波回路１１は１画面全体の信号レベルの平均値を求める為の加減算器で構成され、現在のＲ、Ｇ、Ｂの各映像信号のレベルを評価する。
【００２０】
Ｄ／Ａ変換回路９はデジタルのＲ、Ｇ、Ｂ信号をアナログのＲ、Ｇ、Ｂ信号に変換して、ＴＶモニタ１２等の表示装置に出力する。
【００２１】
また、このビデオプロセッサ３には、各部の制御や演算処理等を行うＣＰＵ１３が設けてあり、このＣＰＵ１３は、ＦＩＲ回路７、ＭＴＸ回路８、Ｄ／Ａ変換回路９、検波回路１１、ＣＰＵ１３の動作プログラムを格納したＲＯＭ１４、ＣＰＵ１３の作業エリアとして使用されたり、データの一時的な格納等に使用されるＲＡＭ１５と、データの転送を行うバス１６により接続されている。
【００２２】
そして、ＣＰＵ１３はＦＩＲ回路７、ＭＴＸ回路８、検波回路１１（といった映像信号処理回路ブロックの）内部に設けられたレジスタを介して上述の映像信号処理に関するパラメータの書き込み、読み込みを行なうと共に、ビデオプロセッサ３の例えば前面パネルに設けられた操作スイッチ１７と接続され、操作スイッチ１７の状態に応じてこれらの機能を動作させる。
【００２３】
操作スイッチ１７には、ＴＶモニタ１２で表示される（固体撮像素子２で撮像された）内視鏡像の色再現性や表示される色調を設定、変更するカラーモード設定スイッチや、ホワイトバランス補正を行うホワイトバランス補正スイッチなどが設けてある。
【００２４】
そして、カラーモード設定スイッチによりあるカラーモードに対応した色再現性で表示させるようにすることができるし、別のカラーモードに対応した色再現性で表示させるようにすることもできる。
【００２５】
また、ホワイトバランス補正しようとする場合には、白色の紙や白色の治具等の基準被写体を固体撮像素子２で撮像し、その基準被写体を撮像した基準撮像信号がビデオプロセッサ３に入力される状態でホワイトバランス補正スイッチを操作すると、ＴＶモニタ１２の表示面に表示される基準被写体像が白色で表示されるようにＭＴＸ回路８のマトリックス係数を設定する。
【００２６】
なお、ＲＯＭ１４にはＣＰＵ１３の制御動作を行なう為のソフトウェアが記憶されているとともに、カラーモードの変更設定或いは選択ができるように映像信号処理パラメータも複数種が記憶されている。
【００２７】
本実施の形態では、以下に説明するようにあるカラーモードの状態で、ホワイトバランス補正スイッチを操作してホワイトバランス補正を行った場合、そのホワイトバランス補正を行った情報、より具体的にはＭＴＸ回路８に設定されるマトリックス係数の情報を、情報記憶手段としての例えばＲＡＭ１５に記憶して保持する。
【００２８】
そして、その後に、別のカラーモードへの変更設定がされた場合には、前記ＲＡＭ１５に記憶された情報を用いることにより、新たに白色の紙や白色の治具等の基準被写体を固体撮像素子２で撮像して、その基準被写体を撮像した基準撮像信号がビデオプロセッサ３に入力される状態にする作業を必要としないで、カラーモードの変更設定がされた場合にも同様にホワイトバランス補正がされた状態に設定する処理を（カラーモードの変更と）同時に行うようにしていることが特徴となっている。
【００２９】
次に本実施の形態の作用を説明する。
【００３０】
操作スイッチ１７のカラーモードの設定操作時には、ＣＰＵ１３は式１のＫ１１〜Ｋ３３で示された係数行列パラメータを複数種記憶されたパラメータの中から選択してＭＴＸ回路８のレジスタに書き込むように制御動作をする。
【００３１】
例えば、あるカラーモード（カラーモードＡとする）に設定された場合、ＣＰＵ１３は係数Ａ１１〜Ａ３３をＭＴＸ回路８のレジスタに書き込み、別のカラーモード（カラーモードＢとする）に設定変更した場合にはそのカラーモードＢに対応した係数Ｂ１１〜Ｂ３３を書き込むように制御動作をする。
【００３２】
なお、以下では簡単化のため、明細書中で係数Ａ１１〜Ａ３３の係数行列を［Ａ］、係数Ｂ１１〜Ｂ３３の係数行列を［Ｂ］のように表記して使用する。
【００３３】
また、ホワイトバランス補正スイッチによるホワイトバランス補正は、カラーモードＡに設定した状態で白色の基準被写体を撮像した時に、検波回路１１によって検出されたＲ、Ｇ、Ｂ信号レベルを読み込み、ＣＰＵ１３にてＧ信号に対するＲおよびＢ信号の比率であるホワイトバランス係数Ｋｒ＝Ｇ／Ｒ、Ｋｂ＝Ｇ／Ｂを算出し、式２で示される演算結果のＡ’１１〜Ａ’３３をＭＴＸ回路８の係数行列パラメータとして上書きする事によって、被写体の白色を補正するフィードバック型のホワイトバランス補正回路となっている。
【００３４】
【式２】
0003978039.tif 000003
つまり、カラーモードＡに設定した場合には、予め用意したそのカラーモードＡに対応する色再現性の状態に設定されるが、実際に使用する電子内視鏡１の固体撮像素子２等の特性により、必ずしもホワイトバランスが取れた状態ではない。
【００３５】
このため、実際に使用する電子内視鏡１がビデオプロセッサ３に接続された状態で白色の基準被写体を撮像して、その撮像信号が入力された状態で、その撮像信号に対して選択設定したカラーモードＡでのＭＴＸ回路８を通したＲ，Ｇ，Ｂ信号のレベルがホワイトバランスする状態の信号レベル、つまりＲ＝Ｇ＝Ｂとなるように３行３列のホワイトバランス用の対角行列［Ｋ］（その対角成分はＫｒ、１、Ｋｂ）と係数行列［Ａ］とを掛け合わせた係数行列［Ａ’］に変更したものでマトリックス変換処理を行うようにして、ホワイトバランス補正がされたカラーモード状態にする。
【００３６】
図２はカラーモード変更時のビデオプロセッサ３の動作フローを示す。操作スイッチ１７にてカラーモードＡからカラーモードＢに設定変更が操作されると、ステップＳ１にて式２で示されるＭＴＸ回路８に書き込まれている係数Ａ’１１〜Ａ’３３の情報をＲＡＭ１５より読み込む。
【００３７】
次に、ステップＳ２にて行列［Ａ’］の逆行列［Ａ’］−１を演算する。この逆行列［Ａ’］−１は、別のカラーモードＢに設定してホワイトバランス補正を行うために必要となる。
【００３８】
次に、ステップＳ３にてカラーモードＢの係数行列［Ｂ］にステップＳ２で求めた逆行列［Ａ’］−１を右側から乗算した［Ｂ］［Ａ’］−１を演算する。
【００３９】
その演算した行列を３行１列のＲＧＢ行列（式３参照）に作用させることにより、等価的には、カラーモードＡの代わりにカラーモードＢの係数に設定した状態のＭＴＸ回路８に基準被写体信号が入力された時、そのＭＴＸ回路８でマトリックス変換してＲＧＢ信号を生成した状況を再現しえる。
【００４０】
そして、カラーモードＡにおいて、係数行列［Ａ］から係数行列［Ａ’］を求めた手順を援用する。
【００４１】
つまり、ホワイトバランス補正されたマトリックス変換を行うようにするため、カラーモードＢのホワイトバランス係数Ｋｒ’、Ｋｂ’（カラーモードＢのホワイトバランス用の対角行列［Ｋ’］（その対角成分はＫｒ’、１、Ｋｂ’）を導入して式３のようにする。
【００４２】
そして、式３をＲ＝Ｇ＝Ｂの条件（ホワイトバランスがとれた条件）で解く事によって、カラーモードＢのホワイトバランス係数Ｋｒ’、Ｋｂ’を算出する演算を行う。
【００４３】
【式３】
0003978039.tif 000004
最後に、ステップＳ４に示すように式４の演算によって求まる係数行列［Ｂ’］（その係数はＢ１１〜Ｂ’３３）をＭＴＸ回路８に書き込む。
【００４４】
【式４】
0003978039.tif 000005
すると、ＭＴＸ回路８にはカラーモードＢでホワイトバランス補正された係数行列［Ｂ’］が書き込まれるため、カラーモード変更と同時にホワイトバランス補正が行われた状態となる。
【００４５】
なお、ＲＡＭ１５には、カラーモードＢに変更後も、例えば最初の係数行列［Ａ’］の情報を記憶する。そして、カラーモードＢからさらに別のカラーモードＣに変更された場合にも、カラーモードＢの場合と同様の処理が行われ、カラーモードＣに選択設定した場合にもホワイトバランス補正がされた状態に設定できる。
【００４６】
この場合、ＲＡＭ１５に記憶する情報として、係数行列［Ｂ’］としても良い。
【００４７】
本実施の形態は以下の効果を有する。
【００４８】
以上の作用によりＭＴＸ回路８にはカラーモードＢでホワイトバランス補正された係数行列［Ｂ’］が書き込まれるため、カラーモード変更と同時にホワイトバランス補正を行なうことが可能となり、従来のカラーモードの変更操作と、さらに基準被写体を撮像してホワイトバランス補正操作を行う２つの作業を１つの操作で行なう事が可能になる。
【００４９】
特に診断中や手術中のような場合、電子内視鏡１の挿入部を引き出して基準被写体を撮像する状態に設定する作業が不要となるので、非常に操作性を向上できる。また、実際に使用される固体撮像素子２に対してホワイトバランス補正を行った情報をその後にも利用するため、固体撮像素子２の特性が異なる場合にも影響されないで忠実な色再現性を確報できる。また、同様に光源装置による光源ランプの発光波長特性等が異なる場合でも、殆どその影響を受けないでホワイトバランスが取れた状態に維持できる。
【００５０】
なお、上述の説明では、カラーモードを変更設定した場合に、ホワイトバランスを連動して行うように説明したが、本実施の形態はこれに限定されるものでなく、ユーザ（通常は術者）の好みや選択により上述のモード、つまりカラーモードの変更設定＆ホワイトバランス補正を同時に行う第１モードの他に、別の第２モードを用意しても良い。
【００５１】
第２モードではカラーモードの変更のみを行う。この場合には最初のカラーモードＡの場合と同様の動作となる。しかし、その後にワイトバランス補正スイッチが操作された場合には、上述したようにＲＡＭ１５の情報を用いて、式３、式４により、基準被写体を撮像する状態に設定することなくホワイトバランス補正を行う。この場合も本発明に属する。
【００５２】
このように、本実施の形態によれば、１たび、あるカラーモードでホワイトバランスさせる処理を行った後には、その情報がＲＡＭ１５に記憶され、その情報を採用することによりその後はカラーモードを変更した場合にも、ホワイトバランスさせることができる。
【００５３】
なお、上述の説明では、ＭＴＸ回路８のカラーモードに対応したマトリックス係数を、ホワイトバランス補正の際に上書き変更するようにしているが、ＭＴＸ回路８のマトリックス係数はそのまま用い、その後段にＭＴＸ回路８を経て入力されるＲ，Ｇ，Ｂ信号と設定される係数とをそれぞれ乗算する３つの乗算回路を設けてカラーモードを変更した場合にもその後段の３つの乗算回路における３つの係数設定で上述した場合とほぼ同様の動作を行えるようにしても良い。
【００５４】
この場合、３つの内の１つの信号レベルを基準とすることにより２つの乗算回路で構成することもできる。
【００５５】
また、あるカラーモードＡで基準被写体を用いてホワイトバランスさせた場合、それ以後の適宜の時に、別のカラーモードＢ、Ｃ等でもホワイトバランス補正させた状態の係数行列の情報を前もってＲＡＭ１５等に書き込んでおき、術者がカラーモードの変更を行った場合には、そのカラーモードに対応する係数行列の情報をＲＡＭ１５等から読み出してＭＴＸ回路８に書き込むことにより、殆どリアルタイムでホワイトバランス補正がされたカラーモードの変更状態に設定することができる。
【００５６】
なお、カラーモード変更後に、カラーモード変更と共にホワイトバランス補正を可能とする情報を記憶する手段はＲＡＭ１５に限定されるものでなく、フラッシュメモリ等の不揮発性で電気的に書き換えが可能なメモリ、記録媒体などでも良い。
【００５７】
また、図１に示したようなＣＰＵ１３を備えてマトリックス変換等の処理をＣＰＵ１３の制御下で行う構成の場合には、例えばＲＯＭ１４のプログラムを変更することにより、既存の内視鏡撮像装置（具体的には、ビデオプロセッサ３或いはカメラコントロールユニット）に対しても適用することができる。
【００５８】
例えば、図２に示した処理を行う処理プログラムや、それを記録した記録媒体も本発明に属する。
【００５９】
なお、本実施の形態は電子内視鏡１に対して適用可能なものに限らず、光学式内視鏡の接眼部に固体撮像素子を内蔵したＴＶカメラを装着したＴＶカメラ装着内視鏡にも適用できることは明らかである。
【００６０】
［付記］
１．ホワイトバランス設定手段によって内視鏡像の白色を補正する第１のホワイトバランス補正手段と、
内視鏡像の色再現性を設定するカラーモード設定手段と、
前記カラーモード設定手段の設定に基づき映像信号処理回路に設定するパラメータを切り替えるカラーモード切替え手段とを備えた内視鏡撮像装置において、
前記カラーモード設定手段の設定を変更した場合にホワイトバランス補正を行なう第２のホワイトバランス補正手段を設けた事を特徴とする内視鏡撮像装置。
２．内視鏡を用いて被写体像を撮像する撮像手段から出力された撮像信号に対して信号処理を行なって、複数のカラーモードの映像信号を生成させることが可能な信号処理手段と、
前記信号処理手段に設けられ、前記撮像手段から出力された前記撮像信号に対して、第１のマトリックス係数に基づいて、第１のカラーモードにおける第１のホワイトバランス処理を行なう第１のマトリックス手段と、
前記第１のマトリックス係数から逆行列を算出し、その算出結果に基づいて第２のマトリックス係数を決定する算出手段と、
前記信号処理手段に設けられ、前記撮像手段から出力された前記撮像信号に対して、前記算出手段によって算出された前記第２のマトリックス係数に基づいて、第２のカラーモードにおける第２のホワイトバランス処理を行なう第２のマトリックス手段と、
外部からのカラーモードの切換え操作の入力に応じて、前記算出手段に制御信号を送出して前記算出手段を制御する制御回路と、
を具備したことを特徴とする内視鏡撮像装置。
【００６１】
【発明の効果】
本発明によれば、カラーモード変更設定した場合にも、そのカラーモード変更設定前のホワイトバランス補正した時の情報を保持するようにしているので、ホワイトバランス補正を行なうことが可能となる為、診断中、手術中に術者を煩わせる事なくカラーモードの変更が可能な操作性に優れた内視鏡撮像装置を提供する事ができる。
【図面の簡単な説明】
【図１】本発明の１実施の形態のビデオプロセッサの構成を示すブロック図。
【図２】カラーモード変更時の動作内容を示すフローチャート図。
【符号の説明】
１…電子内視鏡
２…固体撮像素子
３…ビデオプロセッサ
４…ＣＤＳ回路
５…Ａ／Ｄ変換回路
６…絶縁回路
７…ＦＩＲ回路（色分離回路）
８…マトリックス回路
９…Ｄ／Ａ変換回路
１１…検波回路
１２…ＴＶモニタ
１３…ＣＰＵ
１４…ＲＯＭ
１５…ＲＡＭ
１７…操作スイッチ
【図１】
0003978039.tif 000006
【図２】
0003978039.tif 000007