(57)【要約】 【課題】 適切な仕方でカラーチャートを容易に撮像する。【解決手段】ビデオスコープを有する内視鏡装置において、色調整の際、前回の画角でカラーチャートを撮像できるようにスコープの撮影位置を誘導する画角ガイドイメージＣＥ１〜ＣＥ４、およびガイドラインＴ１、Ｔ２が表示されるととともに、表示されているカラーチャートの画像の上下方向をカラーチャートの上下方向と一致させるように、方向性ガイドイメージＩ１〜Ｉ４が表示される。【選択図】図３
2016054757.tif 000002
【特許請求の範囲】
【請求項１】
スコープ先端部に設けられたイメージセンサから読み出される画素信号に基づいて、カラー画像を生成する画像信号処理部と、
生成されたカラー画像を表示装置に表示する表示処理部とを備え、
前記表示処理部が、複数のカラーエレメントを配列させたカラーチャートをスコープで撮像するときに所定画角範囲での撮影を規定する画角ガイドイメージを表示可能であることを特徴とする内視鏡装置。
【請求項２】
カラーチャートが、色の異なる複数のカラーエレメントを配列させたカラーチャートであり、
前記表示処理部が、所定の色のカラーエレメントの表示されるべきエリアに合わせて画角ガイドイメージを表示することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記表示処理部が、前記表示装置の画面中央部に表示されるカラーエレメントの表示エリアに合わせて画角ガイドイメージを表示することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記表示処理部が、カラーエレメントの形状に応じた形状を有するイメージを画角ガイドイメージとして表示することを特徴とする請求項３に記載の内視鏡装置。
【請求項５】
前記カラーチャートが、チェッカータイプのカラーチャートであり、
前記表示処理部が、フレーム上の画角ガイドイメージを表示することを特徴とする請求項４に記載の内視鏡装置。
【請求項６】
前記表示処理部が、表示されるカラーチャートの上下方向および左右方向のうち少なくともいずれかの方向を規定する方向性ガイドイメージを表示することを特徴とする請求項２乃至５のいずれかに記載の内視鏡装置。
【請求項７】
前記表示処理部が、所定のカラーエレメントの色を表すイメージを、方向性ガイドイメージとして表示することを特徴とする請求項６に記載の内視鏡装置。
【請求項８】
前記表示処理部が、色補正モードが設定されると、画角ガイドイメージを表示することを特徴とする請求項１乃至７のいずれかに記載の内視鏡装置。
【請求項９】
前記表示処理部が、前記表示装置の画面中心を通り、互いに直交なガイドラインを表示することを特徴とする請求項１乃至８のいずれかに記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スコープ（内視鏡）を使って器官内壁などの被写体を撮像し、処置等を行う内視鏡装置に関し、特に、カラーチャート表示を利用した色調整処理に関する。
【背景技術】
【０００２】
電子内視鏡装置では、被写体の色を忠実に再現するため、内視鏡装置の出荷、販売時にカラーチャートを用いて色調整を行う。例えば、テスト用カラーチャートを正面からスコープによって撮像し、色調整処理を行う（特許文献１参照）。
【０００３】
また、電子内視鏡システムで用いられるモニタは汎用品であるため、モニタごとに色調が異なる。そこで、モニタに映したカラーチャート画像を撮像し、モニタの特性に応じたゲイン値を設定することで適切な色再現を調整する手法が提供されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２９５９７６号公報
【特許文献２】特開２０１０−２７９４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
病院などの医療機関では、多数用意されたビデオスコープの中から、手術など作業目的に合わせて選択したビデオスコープをプロセッサに接続し、プロセッサについても、性能の異なる様々なプロセッサが用意されている。このような状況下では、医師など現場の人間が、セッティングされたビデオスコープ、プロセッサに対して作業前に色調整する必要性がある。
【０００６】
しかしながら、従来のカラーチャート撮像は、特定のビデオスコープ、プロセッサの組合せを前提にし、また業者などが販売、納品前に色調整のセッティングを行っている。医師などによる医療現場で検査直前にカラーチャートを撮像することを想定していない。
【０００７】
一般的に、カラーチャート撮像を行う場合、ビデオスコープにおける画角を含めた光学特性を考慮する必要がある。色調整を専門としないオペレータが、基準、指標となる撮影の仕方でカラーチャートを撮像することができければ、観察部位の色再現性を確保することが難しい。
【０００８】
したがって、使用されるビデオスコープの種類に関係なく、オペレータが容易にカラーチャートを撮像できることが求められる。
【課題を解決するための手段】
【０００９】
本発明の内視鏡装置は、スコープ先端部に設けられたイメージセンサから読み出される画素信号に基づいて、カラー画像を生成する画像信号処理部と、生成されたカラー画像を表示装置に表示する表示処理部とを備え、表示処理部が、複数のカラーエレメントを配列させたカラーチャートをスコープで撮像するときに所定画角範囲での撮影を規定する画角ガイドイメージを表示可能である。
【００１０】
例えば、カラーチャートが、色の異なる複数のカラーエレメントを配列させたカラーチャートであり、表示処理部は、所定の色のカラーエレメントの表示されるべきエリアに合わせて画角ガイドイメージを表示することができる。例えば表示処理部は、表示装置の画面中央部に表示されるカラーエレメントの表示エリアに合わせて画角ガイドイメージを表示することが可能である。また、表示処理部は、カラーエレメントの形状に応じた形状を有するイメージを画角ガイドイメージとして表示することができる。例えば、カラーチャートが、チェッカータイプのカラーチャートであり、表示処理部が、フレーム上の画角ガイドイメージを表示することができる。
【００１１】
表示処理部は、表示されるカラーチャートの上下方向および左右方向のうち少なくともいずれかの方向を規定する方向性ガイドイメージを表示することができる。例えば表示処理部は、所定のカラーエレメントの色を表すイメージを、方向性ガイドイメージとして表示する。また、表示処理部は、例えば色補正モードが設定されると、画角ガイドイメージを表示する。さらに表示処理部は、表示装置の画面中心を通り、互いに直交なガイドラインを表示することができる。
【発明の効果】
【００１２】
このように本発明によれば、適切な仕方でカラーチャートを容易に撮像することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態である電子内視鏡装置のブロック図である。
【図２】色補正処理のフローチャートである。
【図３】カラーチャートを撮像したときの画面表示を示した図である。
【図４】図２のステップＳ１０５のサブルーチンである。
【発明を実施するための形態】
【００１４】
以下では、図面を参照して本実施形態である電子内視鏡システムについて説明する。
【００１５】
図１は、本実施形態である電子内視鏡装置のブロック図である。
【００１６】
電子内視鏡装置は、ビデオスコープ１０とプロセッサ３０とを備え、ビデオスコープ１０はプロセッサ３０に着脱自在に接続可能である。プロセッサ３０には、キーボード５０、およびモニタ６０が接続されている。また、プロセッサ３０はネットワークを通じてサーバ８０と接続されている。
【００１７】
プロセッサ３０は、キセノンランプなどの光源３２を備え、光源３２から放射された光は、集光レンズ３４を介してビデオスコープ１０内に設けられたライトガイド１１の入射端に入射する。ライトガイド１１を通って射出した光は、配光レンズ１３を介してスコープ先端部１０Ｔから被写体（観察対象）に向けて照射される。
【００１８】
被写体において反射した照明光は、スコープ先端部１０Ｔに設けられた対物レンズ１４によって結像し、被写体像がイメージセンサ（ＣＣＤ、ＣＭＯＳなど）１２の受光面に形成される。イメージセンサ１２は駆動回路１６によって駆動され、１フレーム／フィールド分の画素信号がイメージセンサ１２から所定の時間間隔（例えば１／３０秒、１／６０秒間隔）で読み出される。イメージセンサ１２には、ここではＣｙ、Ｍｇ、Ｙｅ、Ｇ、あるいはＲ，Ｇ，Ｂなどの色要素を配列させた色フィルタが配設されている。
【００１９】
イメージセンサ１２から読み出された一連の画素信号は、プロセッサ３０の前段画像信号処理回路４２へ送られる。前段画像信号処理回路４２では、一連のデジタル画素信号に対し増幅処理、デジタル化処理が施された後、ガンマ補正処理、色変換処理、ホワイトバランス処理などの画像信号処理が施される。これにより、Ｒ，Ｇ，Ｂカラー画像信号が生成される。
【００２０】
また、Ｒ，Ｇ，Ｂカラー画像信号は、マトリクス演算に基づいて色補正処理され、さらに、Ｌ*ａ*ｂ*色空間などの色空間に基づいたカラー画像信号（以下では、色空間カラー画像信号という）に変換される。これにより、機器間での色域特性の相違に関係なく色調整されたカラー画像信号が得られる。
【００２１】
前段画像信号処理回路４２において生成された色空間カラー画像信号は、画像メモリ４４へ一時的に格納された後、後段画像信号処理回路４６へ送られる。後段画像信号処理回路４６では、輪郭強調、スーパーインポーズ処理などが施される。そして、色空間カラー画像信号がモニタ６０へ出力されることにより、観察画像がモニタ６０に表示される。
【００２２】
ＲＯＭ、ＣＰＵなどを含むシステムコントロール回路４０は、タイミングジェネレータ（図示せず）、前段画像信号処理回路４２、後段画像信号処理回路４６などへ制御信号を出力し、プロセッサ３０が電源ＯＮ状態である間、プロセッサ３０の動作を制御する。動作制御プログラムは、あらかじめＲＯＭに記憶されている。
【００２３】
ビデオスコープ１０がプロセッサ３０に接続されると、システムコントロール回路４０はビデオスコープ１０に設けられたスコープメモリ１５からスコープ関連データを読み出す。スコープ関連データとして、スコープの機種／種類が含まれる。不揮発性メモリ４８には、カラー画像データ、画像信号処理に関連したパラメータが記録される。
【００２４】
フロントパネル４５には、モード設定ボタン（図示せず）が設けられており、ここでは色補正モードが設定可能である。オペレータは、被検者の観察部位を検査する場合、前回検査時の患部画像の色合い、色調と同じ色合い、色調を再現するため、検査前に色補正モードを設定する。
【００２５】
色補正モード設定時、スコープ先端部１０ＴをカラーチャートＣＣに近づけて撮影することにより、カラーチャートＣＣの色空間に基づくカラー画像が生成される。システムコントロール回路４０は、前回検査時に撮影して不揮発性メモリ４８に記録されたカラーチャートＣＣの色空間カラー画像信号（参照用カラーチャート画像）と、画像メモリ４４に一時的に格納されたカラーチャートＣＣの色空間カラー画像信号（色補正対象カラーチャート画像）との色差を算出するとともに、色差を最小にするマトリクス係数を求める。そして、前段画像信号処理回路４２において実行される色補正処理のマトリクス係数を、算出したマトリクス係数に設定する。
【００２６】
以下では、図２〜４を用いて、医師などのオペレータが医療現場で検査前に行う色補正処理について説明する。
【００２７】
図２は、色補正処理のフローチャートである。図３は、カラーチャートを撮像したときの画面表示を示した図である。図４は、図２のステップＳ１０５のサブルーチンである。
【００２８】
図３には、オペレータがスコープ先端部１０ＴをカラーチャートＣＣに向けてカラーチャートを撮像したときにモニタ６０に表示されるカラーチャート画像を示している。カラーチャートＣＣは、複数のカラーエレメントから構成されるチェッカータイプの多色カラーチャート（ここでは、２４色（４×６）のマクベス・カラーチェッカー）が適用されている。
【００２９】
カラーチャートＣＣでは、方形状のカラーエレメントが所定間隔でマトリクス状に配列している。カラーチャートＣＣの中心ＣＭの周囲に位置する４つのカラーエレメントＣ１、Ｃ２、Ｃ３、Ｃ４は、それぞれ、ピンク（Ｐ）、紫（Ｐｕ）、赤（Ｒ）、黄色（Ｙｅ）の色から成る。
【００３０】
オペレータによって色補正モードが設定されると、システムコントロール回路４０の制御により、スーパーインポーズ処理が後段画像信号処理回路４６において実行される。その結果、図３に示すように、画角ガイドイメージＣＥ１〜ＣＥ４が表示される（Ｓ１０１）。それとともに、画面の上下方向に沿って画面中心Ｃ０を通るガイドラインＴ１と、画面の左右方向に沿って画面中心Ｃ０を通るガイドラインＴ２とが互いに直交する直線状のガイドラインとして表示される。
【００３１】
画角ガイドイメージＣＥ１〜ＣＥ４は、カラーエレメントの方形状に合わせて、ここではフレーム形状のイメージによって構成されている。また、画角ガイドイメージＣＥ１〜ＣＥ４は、画面中心Ｃ０から互いに等間隔に配置されるとともに、ガイドラインＴ１、Ｔ２に対して対称配置になっている。これらのガイドイメージは、ビデオスコープ１０によるカラーチャート撮影範囲、すなわち画角を規定するインジケータとして機能する。
【００３２】
オペレータは、カラーチャートＣＣを撮像するとき、カラーチャートＣＣの中心ＣＭが画面中心Ｃ０とほぼ一致するように、スコープ先端部１０Ｔの撮影方向、撮影位置（もしくはカラーチャートＣＣの位置）を設定する。このとき、ガイドラインＴ１、Ｔ２を参考にしながら、スコープ先端部１０Ｔ（カラーチャートＣＣ）のチャート面上での位置をおよそ決める。
【００３３】
一方、画角ガイドイメージＣＥ１〜ＣＥ４の中には、それぞれ“Ｐ”、“Ｐｕ”、“Ｒ”、“Ｙｅ”の文字（方向性ガイドイメージ）Ｉ１〜Ｉ４が、表示されている。これは、カラーチャートＣＣの上下左右方向とカラーチャート画像ＣＣＭの上下左右方向を一致させるインジケータとして機能し、オペレータは、方向が一致するようにスコープ先端部１０Ｔを先端軸Ｃ回りに回転させる。具体的には、カラーチャートＣＣのピンク（Ｐ）、紫（Ｐｕ）、赤（Ｒ）、黄色（Ｙｅ）がそれぞれ方向性ガイドイメージ“Ｐ”、“Ｐｕ”、“Ｒ”、“Ｙｅ”（Ｉ１〜Ｉ４）上に重なるようにする。
【００３４】
そして、表示された画角ガイドイメージＣＥ１〜ＣＥ４に従い、カラーチャートＣＣの表示された画像（カラーチャート画像ＣＣＭ）の画角を調整する。すなわち、カラーチャートＣＣとスコープ先端部１０Ｔとの距離間隔Ｌを調整する。具体的には、カラーエレメントＣ１〜Ｃ４の像ＣＤ１〜ＣＤ４が、画角ガイドイメージＣＥ１〜ＣＥ４に対応したサイズ（図３では、一回り小さいサイズ）となるように画角が調整される。
【００３５】
このようにカラーチャートＣＣの撮影中心、画角、上下方向が決定された状態でフロントパネル４５に設けられた色補正モード実行ボタン（図示せず）が操作されると、色補正処理が実行開始される（Ｓ１０２）。なお、実行ボタンは、ビデオスコープの操作部に設けられたボタンを兼用させてもよい。実行ボタンが押下されると、キーボード５０などによって事前に入力された患者名、およびスコープメモリ１５から読み出されたビデオスコープの名前（機種／種類）が検索され、過去に同じ患者名、および種類のビデオスコープで撮像されたカラーチャート画像が不揮発性メモリ４８に記録されているか否かが判断される（Ｓ１０３、Ｓ１０４）。
【００３６】
同一患者名、同一のビデオスコープでカラーチャート画像が存在しない場合、色補正処理を実行せず、カラーチャート画像ＣＣＭはそのまま不揮発性メモリ４８に記録される（Ｓ１０６）。ここでは、所定のタイミングで得られる１フレーム分の画素信号に基づく静止画像が、カラーチャート画像として記録される。一方、同一患者名、同一のビデオスコープでカラーチャート画像が存在する場合、色補正処理が実行される（Ｓ１０５）。
【００３７】
次に図４を用いて、ステップＳ１０５の色補正処理について詳述する。図４のステップＳ２０１では、画像メモリ４４に格納された１フレーム分の色空間カラーチャート画像と、不揮発性メモリ４８に記録されている前回検査時の１フレーム分の色空間カラーチャート画像との間で、色差ΔＥが色ごとに求められる。また、算出された各色の色差ΔＥは、スコープメモリ１５に記録される（Ｓ２０１）。
【００３８】
ステップＳ２０２では、各色の色差ΔＥが閾値ＥＬ以下であるか否かが判断される。閾値ＥＬを超える色差ΔＥが存在する場合、プロセッサ３０における画像処理に関する画質パラメータが前回の検査時の画質パラメータと一致しているか否かが判断される（Ｓ２０５）。ここでは、画質パラメータとしてガンマ値、ゲイン値が含まれており、前回検査時の画質パラメータは、不揮発性メモリ４８に格納されている。
【００３９】
前段画像信号処理回路４２において設定されている画質パラメータが前回検査時の画質パラメータと異なる場合、画質パラメータの違いによって色合いが大きく相違したものと推定し、前回の画質パラメータを設定する（Ｓ２０７）。そして、色差ΔＥを再度計算する。一方、画質パラメータが同一である場合、機器故障の可能性があるため、警告表示を行う（Ｓ２０６）。
【００４０】
ステップＳ２０２において各色の色差ΔＥが閾値ＥＬ以下である場合、各色の色差ΔＥが最少となるようなマトリクス係数が算出される（Ｓ２０３）。すなわち、マトリクス係数によって構成されるマトリクスを最適化する。最適化演算手法は、最小二乗法など、従来知られている演算方法を用いればよい。算出されたマトリクス係数は、前段画像信号処理回路４２において設定されるとともに、スコープメモリ１５に記録される（Ｓ２０４）。
【００４１】
このように本実施形態によれば、色補正モードにおいて、カラーチャートＣＣをビデオスコープ１０で撮像することにより得られる色空間に基づくカラーチャートの画像信号と、前回検査時に記録された色空間に基づくカラーチャートの画像信号との間で色差ΔＥを算出する。そして、色補正処理に用いられるマトリクス係数の値を、色差ΔＥを最小にするマトリクス係数値に設定する。
【００４２】
色補正時に多色のカラーチャートを全体的に撮像し、それに基づいた色補正処理を行うことにより、スコープ、プロセッサ両方の経時変化を含む内視鏡装置全体の経時変化について、その色合い、色調変化を正確に検知することができ、前回の色合いと同じ色合いを再現することによって患部を正確に診断することができる。
【００４３】
また、色空間に基づくカラー画像信号の色差を算出して色調の変化を検知し、カラー画像信号に対する色補正用のマトリクス演算のマトリクス係数を、算出した色空間カラー画像信号の色差によって求めている。このように、色調変化を色空間に基づく画像信号で検知し、色補正を色空間に変換する前のカラー画像信号に対して行う、すなわち色調変化検知と色補正処理を、それぞれ対象としやすいカラー画像信号に対して行うことにより、色再現性を高めることができる。
【００４４】
前回検査時との間で色差が比較的大きい場合、ゲイン値などの画質関連のパラメータ値を前回検査時のパラメータに変更し、再度色差を算出している。そのため、プロセッサの使用状況が知らない間に前回検査時と大きく相違していたとしても、画質関連のパラメータを修正することで、前回検査時の色再現を実現しやすい。
【００４５】
さらに、色補正用のマトリクス係数、カラーチャート画像、色差ΔＥがスコープメモリに記録されることにより、スコープの修理時に、どのように色変化して色補正が行われたかを解析することが可能となる。なお、色差ΔＥの代わりに、Ｌ*ａ*ｂ*の画像信号値をスコープメモリに格納してもよい。この場合、経時変化をより詳細に調べることが可能となる。
【００４６】
スコープメモリだけでなく、サーバ８０側のメモリ（図示せず）にマトリクス係数、カラーチャート画像、色差ΔＥのデータを記録させることも可能である。経時変化の解析には、色補正用のマトリクス係数、カラーチャート画像、色差ΔＥいずれか１つのデータを記録させるようにしてもよい。
【００４７】
なお、色補正処理に関しては、色補正用マトリクスを用いた演算以外にも、ＲＧＢ画像信号を生成するときの色変換処理に使用されるマトリクス係数を補正、修正することも可能であり、あるいは、ホワイトバランス調整処理によるゲイン値を補正することでも色補正、色調整可能である。したがって、色空間に基づくカラー画像信号以外の画像信号に対して色差を算出し、色合いを前回検査時の色合いに合わせる（同等にする）色補正処理を行ってもよい。
【００４８】
一方、色補正モードなどの設定によって前回検査時と今回検査時とのカラーチャート画像を比較する以外に構成することも可能であり、基準となる参照用のカラーチャート画像を設けて比較するようにすることも可能である。また、ガイド表示、色補正処理実行への入力操作を設けず、カラーチャートの撮像期間中、自動的に色補正処理（例えば、所定期間経過後）を実行してもよい。
【００４９】
一方、本実施形態では、色調整の際、前回の画角でカラーチャートを撮像できるようにスコープの撮影位置を誘導する画角ガイドイメージＣＥ１〜ＣＥ４、およびガイドラインＴ１、Ｔ２が表示されるととともに、表示されているカラーチャートの画像の上下方向をカラーチャートの上下方向と一致させるように、方向性ガイドイメージＩ１〜Ｉ４が表示される。
【００５０】
これにより、医師など内視鏡の機器セッティングを主な仕事としないオペレータでも、前回検査時と同じように画角、撮像範囲を定めることが可能となり、色調変化を正確に検知し、前回検査時と同等の色再現性を持って観察画像を表示することが可能となる。
【００５１】
画角ガイドイメージが、カラーチャートのカラーエレメントの方形に対応した形状であるため、ビデオスコープとカラーチャートの距離間隔を微調整することが容易であり、また、色の名前で表される方向ガイドイメージを表示することにより、上下方向を間違えることがない。
【００５２】
なお、上述した色の名前以外で上下方向あるいは左右方向いずれかを案内するガイドイメージを表示することも可能であり、カラーチャートのタイプに合わせてガイドイメージを表示すればよい。特に、方向性を誘導するガイドイメージを表示せず、画角を合わせるイメージだけを表示してもよい。
【００５３】
画角ガイドイメージについては、カラーエレメント枠よりも大きなフレームイメージを表示し、それに合わせて画角調整してもよく、あるいは、中心部の４つのカラーエレメント全体を囲みこむフレームイメージを表示してもよい。ある所定の狭い画角範囲、すなわち同じような画角でカラーチャートが撮影され、画面に表示されるように、ガイドイメージを表示させればよい。
【００５４】
さらに、方形状以外の形状をもつ画角ガイドイメージを表示することも可能であり、所定のカラーエレメントの画面上において表示されるべきエリアに画角ガイドイメージを表示すればよい。チェッカータイプ以外のカラーチャートに合わせた画角ガイドイメージを表示する構成にすることも可能である。
【００５５】
なお、カラーチャート撮像については、上述した色調整以外にも行われる。例えば、モニタごとに色調が異なることを考慮し、モニタに映したカラーチャート画像を撮像し、モニタの特性に応じた色調整をすることもある。この場合においても、ガイドイメージ表示によってオペレータは色再現性をもつ画像を容易に映し出すことができる。
【符号の説明】
【００５６】
１０  ビデオスコープ
３０  プロセッサ
４０  システムコントロール回路（表示処理部、色補正処理部）
４２  前段画像信号処理回路（画像信号処理部、色補正処理部）
４６  後段画像信号処理回路（表示処理部）
４８  不揮発性メモリ（メモリ）
ＣＣ  カラーチャート
ＣＥ１〜ＣＥ４  画角ガイドイメージ
Ｉ１〜Ｉ４  方向性ガイドイメージ
【図１】
2016054757.tif 000003
【図２】
2016054757.tif 000004
【図３】
2016054757.tif 000005
【図４】
2016054757.tif 000006