(57)【要約】【課題】操作者の手ぶれによる色ずれや、動きの速い被写体に対しても色ずれを軽減して、高解像度のカラー画像信号を自動的に出力することができるようにした画像信号処理装置を提供する。【解決手段】面順次で順次各色別に撮像された画像信号を同時式に変換する同時化手段５と、画像信号の輪郭を抽出する輪郭抽出処理手段１と輪郭抽出された画像信号の重心座標を算出する重心座標算出手段２と順次撮像される面順次画像信号の時間軸で隣り合うある２色の各重心点間の移動量を算出する移動量算出手段３とからなる前記画像信号の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトル量により前記同時化手段に記憶されている画像信号の出力位置を制御する画像入出力制御手段４とで、画像信号処理装置を構成する。【選択図】        図１
2004329514.tif 000002
【特許請求の範囲】
【請求項１】
面順次で順次各色別に撮像された画像信号を同時式に変換する同時化手段と、前記画像信号の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトルにより前記同時化手段に記憶されている画像信号の出力位置を制御する画像入出力制御手段とを備えていることを特徴とする画像信号処理装置。
【請求項２】
前記動きベクトル検出手段は、画像信号の輪郭を抽出する輪郭抽出処理手段と、輪郭抽出された画像信号の重心座標を算出する重心座標算出手段と、順次撮像される面順次画像信号の時間軸で隣り合うある２色の各重心点間の移動量を算出する移動量算出手段とからなることを特徴とする請求項１に係る画像信号処理装置。
【請求項３】
前記輪郭抽出処理手段は、輪郭抽出を行うにあたり、輪郭抽出を行なうエリアを設定する輪郭抽出エリア設定手段を更に有することを特徴とする請求項２に係る画像信号処理装置。
【請求項４】
前記輪郭抽出エリア設定手段は、前記輪郭抽出エリアを、ズーム操作に合わせた表示画面中央部のエリアに設定することを特徴とする請求項３に係る画像信号処理装置。
【請求項５】
前記輪郭抽出エリア設定手段は、外部から設定される輪郭抽出エリアを用いることを特徴とする請求項３に係る画像信号処理装置。
【請求項６】
前記輪郭抽出エリア設定手段は、輪郭抽出エリアを複数有し、これらの輪郭抽出エリアから、適用する輪郭抽出エリアが選択設定されるように構成されていることを特徴とする請求項５に係る画像信号処理装置。
【請求項７】
前記輪郭抽出エリア設定手段は、外部から入力される輪郭抽出エリアを、前記輪郭抽出エリアとして用いるように構成されていることを特徴とする請求項５に係る画像信号処理装置。
【請求項８】
前記輪郭抽出処理手段は、輪郭抽出する輝度レベルを設定する輪郭抽出輝度レベル設定手段を更に有することを特徴とする請求項３〜７のいずれか１項に係る画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、電子内視鏡などにおいて用いられる面順次撮像方式における色ずれを軽減する画像信号処理装置に関する。
【０００２】
【従来の技術】
【特許文献】特開平８−６８９５２号公報
【０００３】
一般に、Ｒ，Ｇ，Ｂの３色の照明光を各色別に時間をずらして被写体に順次照射し、その被写体の像を固体撮像素子で順次撮像して、カラー画像をモニタ画面上に表示するようにした、面順次方式の電子内視鏡装置においては、被写体の動きが速い場合には、色ずれが発生して観察に著しい支障を生じさせる。このような課題に対する解決策を示した従来技術としては、特開平８−６８９５２号公報開示の手法がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平８−６８９５２号公報開示の手法では、動きの速い被写体に対して色ずれを防ぐために、モノクロ画像出力に切り替えるようにしているものであるため、注目すべき重要な観察箇所において、色ずれのない明瞭な形状を観察できても、病気による変色を見落とす可能性がある。また、モノクロ画像への切り替えについては、キーボードからの外部入力によるだけであり、自動的に色ずれを防止することができない。このため、操作者は色ずれのない画像を得ようとした場合、キーボード操作を余儀なくされる。また、カラー画像出力時と比較してデータ量が１／３となることにより低解像度となり、画質が低下する恐れがある。
【０００５】
本発明は、従来の電子内視鏡装置における上記課題を解決するためになされたもので、操作者の手ぶれによる色ずれや、動きの速い被写体に対しても色ずれを軽減して、高解像度のカラー画像信号を自動的に出力することができるようにした画像信号処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本願請求項１に係る発明は、面順次で順次各色別に撮像された画像信号を同時式に変換する同時化手段と、前記画像信号の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトルにより前記同時化手段に記憶されている画像信号の出力位置を制御する画像入出力制御手段とで、画像信号処理装置を構成するものである。
【０００７】
また請求項２に係る発明は、請求項１に係る画像信号処理装置において、前記動きベクトル検出手段は、画像信号の輪郭を抽出する輪郭抽出処理手段と、輪郭抽出された画像信号の重心座標を算出する重心座標算出手段と、順次撮像される面順次画像信号の時間軸で隣り合うある２色の画像信号の各重心点間の移動量を算出する移動量算出手段とからなることを特徴とするものである。
【０００８】
このように構成された画像信号処理装置においては、図１の概念図に示すように、まず面順次方式画像信号を輪郭抽出処理手段１に入力し、輪郭抽出画像信号を生成する。生成した輪郭抽出画像信号の重心座標を重心座標算出手段２で求め、各色毎の最新の面順次方式の画像信号の重心点を保持し、順次入力されてくる最新のある一色の面順次方式の画像信号の重心点と、重心座標算出手段２で保持されているその他の異なる色の各色画像信号の重心点から、移動量（動きベクトル）をそれぞれ移動量算出手段３で求め、その移動量に基づいて、画像入出力制御手段４で各色画像信号毎の移動量（動きベクトル）を考慮して、同時化手段５からの各色毎の画像信号出力を制御し、各色毎の出力位置を移動させる。このように、動きベクトルに応じて、同時化されたＲ，Ｇ，Ｂ各色の画像信号の出力位置が制御されるので、色ずれが軽減されたカラー画像を出力することができる。
【０００９】
また請求項３に係る発明は、請求項２に係る画像信号処理装置において、前記輪郭抽出処理手段は、輪郭抽出を行うにあたり、輪郭抽出を行なうエリアを設定する輪郭抽出エリア設定手段を更に有することを特徴とするものであり、また請求項４に係る発明は、請求項３に係る画像信号処理装置において、前記輪郭抽出エリア設定手段は、前記輪郭抽出エリアを、ズーム操作に合わせた表示画面中央部のエリアに設定することを特徴とするものである。
【００１０】
このように構成された画像信号処理装置においては、図２の概念図に示すように、面順次方式画像信号から輪郭抽出手段１１で輪郭抽出画像信号を生成するが、このとき、輪郭抽出エリア設定手段１２において輪郭抽出エリアの設定を行う。通常観察時は表示画面中央部に病変部を表示させることから、ズーム操作に合わせた表示画面中央部の表示エリアに輪郭抽出エリアを設定する。設定された輪郭抽出エリア内において輪郭抽出手段１１で輪郭抽出画像信号を生成する。生成された輪郭抽出画像信号を、２値化処理手段１３で２値化処理する。
【００１１】
これにより、輪郭抽出エリアの設定外エリアにおける被写体の動きに邪魔されることがなくなる。よって、輪郭抽出エリア設定外で光源の反射などの特異な輪郭抽出データが存在した場合、これを除外できるので、被写体である観察部付近の輪郭抽出データのみを使用して重心点を求められることになり、より正確な移動量を観察部周辺の被写体の動きから求めることができる。
【００１２】
また請求項５に係る発明は、請求項３に係る画像信号処理装置において、前記輪郭抽出エリア設定手段は、外部から設定される前記輪郭抽出エリアを用いることを特徴とするものであり、また請求項６に係る発明は、請求項５に係る画像信号処理装置において、前記輪郭抽出エリア設定手段は、前記輪郭抽出エリアを複数有し、これらの輪郭抽出エリアから、適用する輪郭抽出エリアが選択設定されるように構成されていることを特徴とするものである。
【００１３】
このように構成された画像信号処理装置においては、図２の概念図に示すように、面順次方式画像信号から輪郭抽出手段１１で輪郭抽出画像信号を生成するが、このとき、輪郭抽出エリア設定手段１２において輪郭抽出エリアの設定を行う。輪郭抽出エリアの設定において、拡大表示しない標準時は表示画面中央部のエリアを輪郭抽出エリアに設定し、またズーム時には表示画面エリア全体を輪郭抽出エリアに設定し、またどの拡大率のズームでも表示画面中央部を輪郭抽出エリアに設定するなどというように、輪郭抽出設定エリアを予め複数用意しておき、外部信号により任意の輪郭設定エリアを設定可能としてもよい。そして、このようにして設定された輪郭抽出エリア内において、輪郭抽出手段１１で輪郭抽出画像信号を生成する。生成された輪郭抽出画像信号を、２値化処理手段１３で２値化処理する。
【００１４】
これにより、輪郭抽出エリアの設定外エリアにおける被写体の動きに邪魔されることがなくなり、より正確な移動量を観察部周辺の被写体の動きから求めることができる上、被写体により、あるいは操作者の好みにより輪郭抽出エリアの設定を選択できることにより、より正確な色ずれ補正を行うことができる。
【００１５】
また請求項７に係る発明は、請求項５に係る画像信号処理装置において、前記輪郭抽出エリア設定手段は、外部から入力される輪郭抽出エリアを、前記輪郭抽出エリアとして用いるように構成されていることを特徴とするものである。
【００１６】
このように構成された画像信号処理装置においては、図２の概念図に示すように、面順次方式画像信号から輪郭抽出手段１１で輪郭抽出画像信号を生成するが、このとき、輪郭抽出するエリアを輪郭抽出エリア設定手段１２において輪郭抽出エリアの設定を行う。輪郭抽出エリアの設定においては、輪郭抽出エリアそのものを外部から入力し、輪郭抽出エリアを設定する。設定された輪郭抽出エリア内において輪郭抽出手段１１で輪郭抽出画像信号を生成し、生成された輪郭抽出画像信号を、２値化処理手段１３で２値化処理する。
【００１７】
これにより、輪郭抽出エリアの設定外エリアにおける被写体の動きに邪魔されることがなくなり、より正確な移動量を観察部周辺の被写体の動きから求めることができる上、操作者が観察部周辺エリア付近に輪郭抽出エリアを設定でき、操作者が欲する観察部の、より正確な移動量が求められることになり、より正確な色ずれ補正を行うことができる。
【００１８】
また請求項８に係る発明は、請求項３に係る画像信号処理装置において、前記輪郭抽出処理手段は、輪郭抽出する輝度レベルを設定する輪郭抽出輝度レベル設定手段を更に有することを特徴とするものである。
【００１９】
このように構成された画像信号処理装置においては、図３の概念図に示すように、面順次方式画像信号から輪郭抽出手段１１で輪郭抽出画像信号を生成する。このとき、輪郭抽出するエリアを輪郭抽出エリア設定手段１２で設定し、輪郭抽出する輝度レベルを輪郭抽出輝度レベル設定手段１４で設定する。そして、生成された輪郭抽出画像信号を、２値化処理手段１３で２値化処理する。
【００２０】
これにより、輪郭抽出エリア設定手段１２で設定された輪郭抽出エリア内であっても、被写体に光源が反射したデータ等の特異なデータを輪郭抽出データから除外できるので、より正確な移動量を求めることができ、より正確な色ずれ補正を行うことができる。
【００２１】
【発明の実施の形態】
次に、本発明に係る画像処理装置の具体的な実施の形態について説明する。図４は、実施の形態を示す図で、この実施の形態は、本発明に係る画像信号処理装置を適用した電子内視鏡の全体構成を示している。図４において、２１は電子内視鏡の挿入部であり、その先端には対物レンズ２２の被検体結像位置に、電荷結合素子（ＣＣＤ）からなる固体撮像素子２３が配置されている。２４は被検体に照明光を照射するための照明用ライトガイドである。照明用ライトガイド２４の入射端には、光源部２５内に配置された光源ランプ２６から、図示されていないモータによって定速度で回転駆動される回転ＲＧＢフィルタ２７を通った照明光が照射される。
【００２２】
映像信号処理部２８は、面順次方式の撮像を行うためのものであり、プリプロセス回路２９と、ＣＣＤ駆動回路３０とは、コネクタ３１を介して挿入部２１に配置された固体撮像素子２３に接続されている。コントロール信号発生回路３２は、発生するタイミング信号を制御し、各回路部にその信号を供給する。ＣＣＤ駆動回路３０は、コントロール信号発生回路３２からの信号により固体撮像素子２３を駆動するための駆動信号を発生させる。
【００２３】
ＣＣＤ駆動回路３０によって駆動された固体撮像素子２３から出力される映像信号データは、プリプロセス回路２９に入力されて増幅、波形整形等の所定の処理が行われた後、アナログデジタル変換器３３でデジタルデータ化される。デジタルデータ化された映像信号は、種々の画像処理が行われ、同時化制御回路３４で、面順次信号の同時化処理が行われた後、映像信号は表示制御回路３５に入力される。この同時化制御回路３４は、本発明の画像信号処理装置に対応する。表示制御回路３５で表示制御された映像信号は、デジタルアナログ変換器３６でアナログ信号に変換され、コネクタ３７を介して接続されたモニタテレビ３８に入力され、被検体の映像が表示される。
【００２４】
図５は、図４における同時化制御回路３４の詳細な構成を示すブロック構成図である。図４におけるアナログデジタル変換器３３でデジタルデータ化された面順次方式の画像信号は、図５に示す輪郭抽出処理手段４０に入力され、輪郭抽出された画像信号が生成される。ここで、輪郭抽出処理手段４０は、輪郭抽出手段４１，輪郭抽出エリア設定手段４２，輪郭抽出輝度レベル設定手段４３，２値化処理手段４４とで構成されている。
【００２５】
そして、このように構成されている輪郭抽出処理手段４０では、まず、デジタルデータ化された面順次方式の画像信号から、輪郭抽出手段４１が輪郭抽出を行なう。このとき、輪郭抽出するエリアは輪郭抽出エリア設定手段４２で設定され、輪郭抽出する輝度レベルは、輪郭抽出輝度レベル設定手段４３で設定される。このようにして輪郭抽出された面順次方式の画像信号を、２値化処理手段４４は、２値化処理する。
【００２６】
次に、同時化制御回路３４では、図５に示す重心座標算出手段４５において、２値化処理された画像信号の白データ部の重心座標を算出し、面順次方式の画像信号の各色毎の最新の重心座標をそれぞれ保持する。移動量算出手段４６は、重心座標算出手段４５から順次入力されてくる、最新のある一色の面順次方式の画像信号の重心座標と、以前に自ら保持していた、その他の異なる色の各色画像信号の重心座標から、各色毎の移動量を算出する。そして、その移動量に基づいて、画像入出力制御手段４７は、各色画像信号毎の移動量を考慮して、同時化手段４８で同時化された画像信号の出力を制御し、同時化手段４８から色ずれが少ないＲ，Ｇ，Ｂ同時化画像信号を出力させる。
【００２７】
このように、図４に示した電子内視鏡における同時化制御回路を、図５に示す構成とすることにより、面順次方式の画像信号は、同時化処理され、色ずれの少ない画像として出力される。
【００２８】
次に、図５に示した同時化処理回路の詳細な動作を、図６に示したタイミングチャートに基づいて説明する。まず、輪郭抽出手段４１に、面順次方式の画像信号が順次入力され、被写体のエッジ部分が抽出される。このとき、輪郭抽出される画像信号のエリア設定は、輪郭抽出エリア設定手段４２で行い、設定されたエリア内の画像信号で輪郭抽出が行なわれる。
【００２９】
輪郭抽出エリアは、観察時、通常は表示画面中央部に病変部が表示されることから、ズーム操作に合わせた画像表示中央部の表示エリアに設定されるが、拡大表示しない標準時は表示画面中央部のエリアを輪郭抽出エリアに設定し、ズーム時には表示画面エリア全体を輪郭抽出エリアに設定し、また、どの拡大率のズーム時でも常に表示画面エリアの中央部を輪郭抽出エリアに設定するなどというように、輪郭抽出エリアを予め複数用意しておいて、外部入力により、任意の輪郭抽出エリアを選択設定することが可能である。更に、輪郭抽出エリアそのものを、操作者が外部入力することにより設定することも可能である。
【００３０】
続いて、輪郭抽出する輝度レベルを輪郭抽出輝度レベル設定手段４３で行い、設定された輝度レベル範囲内の画像信号で輪郭抽出を行う。輪郭抽出された画像信号は、２値化処理手段４４において２値化（白と黒の画像信号）処理され、重心座標算出手段４５において、２値化処理した画像信号の白データ部の重心座標点を、以下の式により求める。
Ｘ座標＝ΣＸ／Ｎ，  Ｙ座標＝ΣＹ／Ｎ
ここで、ΣＸは画像信号の白データ部のＸ座標値の合計、ΣＹは画像信号の白データ部のＹ座標値の合計、Ｎは白データ部のデータ数を示している。
【００３１】
図６における時点ｔ１で、最新の面順次方式の画像信号Ｇ１が入力された場合、輪郭抽出手段４１と輪郭抽出エリア設定手段４２と輪郭抽出輝度レベル設定手段４３と２値化処理手段４４とからなる輪郭抽出処理手段４０で輪郭抽出され２値化処理された画像信号Ｇ１は、重心座標算出手段４５において重心座標が算出される。時点ｔ２で、同時化処理された最新の画像信号を同時化手段４８より出力するとき、移動量算出手段４６は、時点ｔ１で算出したＧ１の重心座標点を基に、重心座標算出手段４５に保持されているＲ画像信号Ｒ１とＢ画像信号Ｂ０の間で、重心座標点との移動量を算出する。
【００３２】
Ｒ１画像信号の重心座標点から、Ｇ１画像信号の重心座標点への移動量をＲＲとすると、ＲＲ＝（Ｇ１重心座標点）−（Ｒ１重心座標点）となる。Ｂ０画像信号の重心座標点から、Ｇ１画像信号の重心座標点への移動量をＢＢとすると、ＢＢ＝（Ｇ１重心座標点）−（Ｂ０重心座標点）となる。
【００３３】
算出された移動量を基に、画像入出力制御手段４７は、Ｇ（Ｇ１）画像信号の出力位置から、Ｒ（Ｒ１）画像信号の出力位置は、ＲＲ移動した位置から画像信号を出力するようにし、Ｂ（Ｂ０）画像信号の出力位置は、ＢＢ移動した位置から画像信号を出力するようにする。つまり、時点ｔ１の同時化手段４８からの出力信号Ｂ０′，Ｇ０″は、Ｒ１の重心座標との移動量を基に出力制御され、時点ｔ２の同時化手段からの出力信号Ｒ１′，Ｂ０″は、Ｇ１の重心座標との移動量を基に出力制御され、時点ｔ３の同時化手段からの出力信号Ｇ１′，Ｒ１″は、Ｂ１の重心座標との移動量を基に出力制御されていることになる。なお、画像信号の移動量の制限は任意に設定可能とし、設定した移動量を超える場合は、移動量の上限値を基に出力制御する。
【００３４】
図４のモニタテレビ３８へ画像信号を表示する時は、Ｒ，Ｇ，Ｂの３色の画像データが、あるエリアのみを表示するようにマスク処理すればよい。これにより、面順次方式による各色画像信号毎の色ずれを補正し、面順次方式の画像信号をカラー画像で色ずれが少ない画像として出力することができる。
【００３５】
なお、上記実施の形態において、同時化手段以降に、記憶手段を配置し、同時化出力された画像をフリーズ指示入力時に、画像信号を格納すれば、特別な制御回路を設けなくても、重要な患部の静止画像を、色ずれの少ない静止画像としてフリーズ操作直後に出力することが容易に可能であるという特有の効果が得られる。
【００３６】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び請求項２に係る発明によれば、動きベクトル検出手段で検出された動きベクトルに応じて、同時化された各色の画像信号の出力位置が制御され、色ずれが軽減されたカラー画像を出力させることができる。また請求項３及び請求項４に係る発明によれば、輪郭抽出エリア設定外で特異な輪郭抽出データが存在した場合に、これを除外して観察部付近の輪郭抽出データのみを使用して重心点を求めることができ、より正確な動きベクトルを観察部周辺の被写体の動きから求めることができる。また請求項５及び請求項６に係る発明によれば、輪郭抽出エリアを外部から設定するようにしているので、設定外エリアにおける被写体の動きに邪魔されることがなく、より正確な動きベクトルを観察部周辺の被写体の動きから求めることができると共に、被写体や操作者の好みにより輪郭抽出エリアの設定を選択できるので、より正確な色ずれ補正を行うことができる。また請求項７に係る発明によれば、操作者が輪郭抽出エリアを外部より入力設定できるので、操作者が欲する観察部の、より正確な動きベクトルを求めることができ、より正確な色ずれ補正を行うことができる。また請求項８に係る発明によれば、輪郭抽出エリア設定手段で設定された輪郭抽出エリア内であっても、被写体に光源が反射したデータ等の特異なデータを輪郭抽出データから除外できるので、より正確な動きベクトルを求めることができ、より正確な色ずれ補正を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像信号処理装置を示す概念図である。
【図２】図１に示した画像信号処理装置における輪郭抽出処理手段の構成を示す概念図である。
【図３】図１に示した画像信号処理装置における輪郭抽出処理手段の他の構成を示す概念図である。
【図４】本発明に係る画像信号処理装置の実施の形態を示すブロック構成図である。
【図５】図４に示した実施の形態における同時化制御回路の構成を示すブロック構成図である。
【図６】図５に示した同時化制御回路の動作を説明するためのタイミングチャートである。
【符号の説明】
１  輪郭抽出処理手段
２  重心座標算出手段
３  移動量算出手段
４  画像入出力制御手段
５  同時化手段
１１  輪郭抽出手段
１２  輪郭抽出エリア設定手段
１３  ２値化処理手段
１４  輪郭抽出輝度レベル設定手段
２１  挿入部
２２  対物レンズ
２３  固体撮像素子
２４  照明用ライトガイド
２５  光源部
２６  光源ランプ
２７  回転ＲＧＢフィルタ
２８  映像信号処理部
２９  プリプロセス回路
３０  ＣＣＤ駆動回路
３１  コネクタ
３２  コントロール信号発生回路
３３  アナログデジタル変換器
３４  同時化制御回路
３５  表示制御回路
３６  デジタルアナログ変換器
３７  コネクタ
３８  モニタテレビ
４０  輪郭抽出処理手段
４１  輪郭抽出手段
４２  輪郭抽出エリア設定手段
４３  輪郭抽出輝度レベル設定手段
４４  ２値化処理手段
４５  重心座標算出手段
４６  移動量算出手段
４７  画像入出力制御手段
４８  同時化手段
【図１】
2004329514.tif 000003
【図２】
2004329514.tif 000004
【図３】
2004329514.tif 000005
【図４】
2004329514.tif 000006
【図５】
2004329514.tif 000007
【図６】
2004329514.tif 000008