(57)【特許請求の範囲】
【請求項１】
所定の観測領域を連続的に撮像して得られる画像を順次入力する画像入力手段と、
前記画像入力手段により入力された画像の明るさを所定倍するための乗算演算を実行する乗算手段と、
１フレーム分の画像を記憶するための記憶手段と、
前記乗算処理された画像と記憶手段に記憶された画像とを比較して、画像調整用の調整変数を決定する調整変数決定手段と、
前記記憶手段に記憶された画像を前記調整変数を用いて調整した後、その調整画像を出力する画像調整手段と、
前記画像入力手段により画像が入力される毎に、その入力画像に対応して画像調整手段より出力される調整画像により前記記憶手段の記憶データを書き換える制御手段と、
前記画像調整手段における画像調整処理の開始を指示するための指示手段とを具備し、
前記制御手段は、前記指示手段による画像調整処理開始の指示に応じて、その指示直後の入力画像を記憶手段に記憶させた後、以後のフレーム毎に、前記調整画像による記憶手段の書換え処理を行う画像処理装置。
【請求項２】
所定の観測領域を連続的に撮像して得られる画像を順次入力する画像入力手段と、
前記画像入力手段により入力された画像の明るさを所定倍するための乗算演算を実行する乗算手段と、
１フレーム分の画像を記憶するための記憶手段と、
前記乗算処理された画像と記憶手段に記憶された画像とを比較して、画像調整用の調整変数を決定する調整変数決定手段と、
前記記憶手段に記憶された画像を前記調整変数を用いて調整した後、その調整画像を出力する画像調整手段と、
前記画像入力手段により画像が入力される毎に、その入力画像に対応して画像調整手段より出力される調整画像により前記記憶手段の記憶データを書き換える制御手段と、
前記乗算手段による乗算処理に用いられる倍率の変更を指示する倍率変更指示手段とを具備し、
前記制御手段は、前記倍率変更指示手段による倍率変更の指示に応じて、その指示直後の入力画像を記憶手段に記憶させた後、以後のフレーム毎に、前記調整画像による記憶手段の書換え処理を行う画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、撮像手段により所定の観測領域を連続的に撮像して得られた時系列画像を順次入力して、その入力画像を観測処理に必要な明るさに調整するための画像処理装置に関連する。
【０００２】
【従来の技術】
従来のこの種装置として、特開平９−３７１４４号公報に開示された装置が存在する。この公報に記載の装置では、加算器，ＦＩＦＯ型フレームメモリ，係数ルックアップテーブル用ＲＯＭ（係数ＲＯＭ）から成るディジタル画像処理回路により帰還型時間軸フレーム加算処理を行って、画像入力毎に、新たな入力画像に過去のフレームの入力画像による画像データを加算し、画像の明るさを増加するようにしている。なおここで加算される画像データは、前のフレームで加算処理された画像に１より小さい係数を掛け合わせたデータであって、画像の明るさが増加するにつれて、画像上のノイズも除去され、鮮明度の高い画像が出力されるようになる。
【０００３】
【発明が解決しようとする課題】
しかしながら上記構成の装置では、時間軸に沿う画像加算処理により画像の明るさが調整されるため、観測処理に必要な明るさを得るのに時間がかかる。また前記加算用のデータを生成するための係数は、前フレームの加算処理画像の画質に応じて決定されているので、必要な明るさを得るための設定やその設定の変更が困難であるといった問題も発生する。
【０００４】
この発明は、上記問題点に着目してなされたもので、観測処理に必要な明るさを簡単かつ短時間で設定し、またその設定を容易に変更でき、加えてノイズの発生にも速やかに対応することが可能な画像処理装置を提供することを技術課題とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明にかかる画像処理装置は、所定の観測領域を連続的に撮像して得られる画像を順次入力する画像入力手段と、前記画像入力手段により入力された画像の明るさを所定倍するための乗算演算を実行する乗算手段と、１フレーム分の画像を記憶するための記憶手段と、前記乗算処理された画像と記憶手段に記憶された画像とを比較して、画像調整用の調整変数を決定する調整変数決定手段と、前記記憶手段に記憶された画像を前記調整変数を用いて調整した後、その調整画像を出力する画像調整手段と、前記画像入力手段により画像が入力される毎に、その入力画像に対応して画像調整手段より出力される調整画像により前記記憶手段の記憶データを書き換える制御手段と、前記画像調整手段における画像調整処理の開始を指示するための指示手段とを具備する。前記制御手段は、前記指示手段による画像調整処理開始の指示に応じて、その指示直後の入力画像を記憶手段に記憶させた後、以後のフレーム毎に、前記調整画像による記憶手段の書換え処理を行う前記画像調整手段における画像調整処理の開始を指示する。
【０００６】
請求項２の発明にかかる画像処理装置は、上記と同様の画像入力手段、乗算手段、記憶手段、調整変数決定手段、画像調整手段、制御手段の各手段を備えるとともに、前記乗算手段による乗算処理に用いられる倍率の変更を指示する倍率変更指示手段を具備する。前記制御手段は、前記倍率変更指示手段による倍率変更の指示に応じて、その指示直後の入力画像を記憶手段に記憶させた後、以後のフレーム毎に、前記調整画像による記憶手段の書換え処理を行うようにしている。
【００１０】
【作用】
画像が入力される毎に、その入力画像の具備する明るさが所定倍され、さらに乗算処理後の画像と記憶手段に記憶された画像とが比較されて、画像調整用の調整変数が決定される。さらに画像調整手段により、記憶手段に記憶された画像が調整変数を用いて調整されると、この調整画像により記憶手段が書き換えられて、つぎのフレームでの調整変数決定用のデータとして用いられることになる。
【００１１】
したがって乗算処理により明るさが調整された画像と記憶手段に記憶された画像との差違が小さくなるほど、画像の調整量を小さくし、逆に両画像間の差違が大きくなるほど画像の調整量が大きくなるように、調整変数を設定するようにすれば、安定した入力画像が得られている場合、現時点での入力画像の明るさを所定倍した画像と同様の画像、またはその画像にきわめて近い画像を、調整画像として出力することが可能となる。
【００１２】
また入力画像上にノイズが発生した場合、画像調整処理によりそのノイズの影響が緩和された調整画像が出力されるようになり、その後の調整処理により、調整画像にのったノイズの影響を速やかに除去することができる。さらに処理の途中で画像の明るさが変わった場合には、画像調整処理により、その画像の変動に速やかに追随した画像を出力することができる。
【００１４】
請求項１の発明では、指示手段による画像調整処理の開始指示に応じて、その後の最初の入力画像を記憶手段に記憶させ、以後、画像調整手段より出力される調整画像により記憶手段のデータを順次書き換えていくので、指示時点での入力画像にノイズなどの不備がなければ、必要な明るさの画像をすぐに生成することができる。
【００１５】
請求項２の発明では、乗算手段による乗算処理に用いる倍率の変更を可能とし、倍率の変更指示がなされた直後の入力画像を記憶手段に記憶させ、以後、画像調整手段より出力される調整画像により記憶手段のデータを順次書き換えていくので、指示時点での入力画像にノイズなどの不備がなければ、変更された倍率に応じた明るさの画像をすぐに生成することができる。
【００１７】
【実施例】
図１は、この発明が適用された画像処理システムの概略構成を示す。
このシステムは、所定の観測対象物の拡大画像を提供する「ディジタル顕微鏡」として機能するもので、対象物ＯＢを支持するステージ４，拡大レンズが組み込まれたカメラユニット５，画像処理装置１，モニタ２，プリンタ３などにより構成される。
【００１８】
前記画像処理装置１とカメラユニット５とは、光ファイバ９およびカメラケーブル１０を介して接続され、画像処理装置１の機体内には、光ファイバ９への接続位置に対応させて、ハロゲンランプなどによる光源８が配備されている。カメラユニット５は、光ファイバ９を介して前記光源８からの照明の提供を受け、ステージ４上の対象物を撮像する。この撮像処理により得られた映像信号は、カメラケーブル１０を介して画像処理装置１へと伝送される。
【００１９】
画像処理装置１には、図２に示すように、ＣＰＵ１３，ＲＯＭ１４，ＲＡＭ１５などから成る制御回路１１，画像処理回路１２，Ａ／Ｄ変換回路１６，Ｄ／Ａ変換回路１７などが組み込まれ、さらに周辺機器として、モニタ６やマウス７などが接続される。
カメラユニット５からの映像信号は、Ａ／Ｄ変換回路１６を介してディジタル変換され、画像処理回路１２に入力される。ＣＰＵ１３はＲＯＭ１４内に格納された制御プログラムに基づき画像処理回路１２の各部を制御して、前記入力画像の明るさを調整したり、ノイズを除去する処理を実行する。これらの処理により生成された調整画像は、Ｄ／Ａ変換回路１７によりアナログ変換されて画像表示用のモニタ２に出力されるほか、必要に応じて、ディジタル量の調整画像データがプリンタ３に送出される。
【００２０】
なおモニタ６は、画像処理装置１に対する各種設定用のユーザインタフェイスを生成するためのものである。ユーザは、マウス７によりモニタ６の設定画面を操作して、入力画像の明るさ調整用の倍率を設定もしくは変更するなどの設定処理を実行した後、画像調整処理の開始指示操作を行って、前記対象物ＯＢの観測処理を開始する。
【００２１】
図３は、前記画像処理回路１２の詳細な構成を示す。
この実施例の画像処理回路１２は、ユーザによる画像調整開始の指示を受けて作動し、処理開始直後から常に、一定の倍率に応じた明るさの画像を出力するとともに、ノイズの発生に速やかに対応するもので、バレルシフタ１８，比較回路１９，加算回路２０，フレームバッファ２１，セレクタ２２などにより、構成される。
なお上記の各回路１８，１９，２０，２２は、いずれも前記制御回路１１のＣＰＵ１３からの制御信号により動作するものである。
【００２２】
バレルシフタ１８は、入力されたデータを所定ビット分だけシフトさせることにより、前記入力データに対し、シフトビット数に応じた倍数（２，４，８・・・）を乗算する。この実施例のバレルシフタ１８には、あらかじめユーザの設定に応じた倍数が設定されており、前記ディジタル量の入力画像を構成する各画素の輝度データ（以下単に「画素データ」という）に、それぞれ設定された倍率が乗算され、各画素の明るさが所定倍された画像（以下これを「明るさ調整画像」という）が生成される。
【００２３】
バレルシフタ１８により生成された明るさ調整画像は、処理開始直後の１フレーム目の画像のみフレームバッファ２１に格納されるが、以後のフレームでは比較回路１９に出力される。またこの２フレーム目以降の各フレームでは、前段のフレームでフレームバッファ２１内に記憶された画像が比較回路１９および加算回路２０に与えられる。そして比較回路１９において、この記憶画像と明るさ調整画像とが対応する画素毎に比較された後、加算回路２０において、前記記憶画像の各画素データＢにそれぞれ前記比較結果に応じた値の調整変数を加算する画像調整処理が行われる。
この演算処理による調整画像は、セレクタ２２を介して前記Ｄ／Ａ変換回路１７やプリンタ３に出力される。またこのとき同時に、フレームバッファ２１内の記憶データは、この調整画像に書き換えられる。
【００２４】
なお前記セレクタ２２は、Ａ／Ｄ変換回路１６から与えられる入力画像および前記調整画像のいずれかを選択して出力するためのもので、この実施例では、処理開始直後の１フレーム目のみ入力画像を出力し、２フレーム目以降の各フレームでは、加算回路２０からの調整画像を出力するように、設定されている。
【００２５】
前記比較回路１９には、２個の正の基準値ＴＨ１，ＴＨ２（ＴＨ１＜ＴＨ２）およびこれら基準値と絶対値が等しい負の基準値−ＴＨ１，−ＴＨ２がセットされている。比較回路１９は、各フレーム毎に、バレルシフタ１８からの明るさ調整画像とフレームバッファ２１の記憶画像とを取り込んで、両画像間の対応する画素データＡ，Ｂを差分処理した後、各差分値をそれぞれ前記４個の基準値と比較する。加算回路２０は、これらの比較結果を用いて前記記憶画像の各画素データＢに加算する調整変数を決定し、加算処理を実行する。
【００２６】
この実施例では、前記各基準値±ＴＨ１，±ＴＨ２により区切られる５つの区分について、それぞれ異なる設定値を用意し、前記画素データＡ，Ｂの差分値（Ａ−Ｂ）がいずれの区分に属するかにより、その区分に対応する設定値を調整変数Ｘとして採用するようにしている。具体的には、つぎの（１）〜（５）の各条件に基づき、調整変数Ｘが設定される。
【００２７】
（Ａ−Ｂ）＞ＴＨ２ならば、Ｘ＝＋４              ・・・（１）
ＴＨ１＜（Ａ−Ｂ）≦ＴＨ２ならば、Ｘ＝＋１      ・・・（２）
−ＴＨ１＜（Ａ−Ｂ）≦ＴＨ１ならば、Ｘ＝±０    ・・・（３）
−ＴＨ２＜（Ａ−Ｂ）≦−ＴＨ１ならば、Ｘ＝−１  ・・・（４）
（Ａ−Ｂ）≦−ＴＨ２ならば、Ｘ＝−４            ・・・（５）
【００２８】
よって加算回路２０は、各画素毎に、比較回路１９からの前記差分値（Ａ−Ｂ）の値に対する判定結果を受けて図３のブロック内に記載されたような加算処理を実行し、その演算結果Ｙを、調整画像の画素データとして出力する。（以下この出力データＹを「調整画素データ」という）。
【００２９】
つぎに図４（１）（２）を用いて、上記画像処理回路１２における画像調整処理の具体例を説明する。なお図４は、説明を簡単にするために、前記明るさ調整画像および記憶画像間で対応する任意の画素にかかる画素データＡ，Ｂの値，これらデータＡ，Ｂに対応する調整変数Ｘ，およびその調整変数Ｘにより算出された調整画素データＹの各値を、横一列に対応づけて示してある。またここでは前記基準値ＴＨ１，ＴＨ２はそれぞれ＋１、＋４に設定されているものとする。
【００３０】
図４（１）は、１フレーム目の入力画像にノイズがのったために、画素データＡとして「３０」の値が与えられた後、以後の各フレームで安定した画像が入力されて、常に「８」の値を有する画素データＡが得られた例である。
この場合、フレームバッファ２１内の画素データＢは、初期段階では１フレーム目の画素データＡに基づき「３０」に設定されるが、第２フレームでは、「−４」の調整変数による調整処理が行われて、前記ノイズの影響が緩和された調整画素データＹが出力される。以下、５フレーム目までの各フレームにおいて、順次、「−４」の調整変数による調整処理が行われた結果、調整画素データＹは「１４」の値にまで下がり、さらに６フレーム目以降の各フレームでは、順次「−１」の調整変数による調整処理が行われて、１１フレーム目で画素データＡの有する正常な値「８」と同一値の調整画素データＹが得られている。
【００３１】
さらに以下のフレームにおいても安定した画像が入力され、明るさ調整画像の画素データＡとして常に「８」の値が与えられるものとすると、調整変数Ｘは「０」となり、Ｙ＝Ｂ＝Ａの関係が成立することになる。この関係がすべての画素に対し成立するとき、加算回路２０からは、その時点の入力画像の明るさ調整画像と同様の調整画像が出力されることになる。
【００３２】
図４（２）は、処理の途中の入力画像にノイズがのった場合の処理例を示す。この図示例では、２フレーム目からＮ−１フレーム目まで、両画素データＡ，Ｂが等しい状態にある。この結果、調整変数Ｘが「０」となって、常にそのフレームの入力画像に応じた値「８」が画素データＹとして出力されている。
【００３３】
つぎのＮフレーム目では、入力画像にノイズが発生したため、明るさ調整画像上の画素データＡが「３０」の値に変動している。これにより加算回路２０では、「＋４」の調整変数を加算する処理が行われるので、調整画素データＹの値は「８」から「１２」に変動する。この後、各フレームで再び安定した画像が与えられることにより、前記図４（１）と同様に、画素データＢが徐々に「−１」の調整変数により調整されてゆき、Ｎ＋４フレーム目で、その時点での入力画像に応じた値「８」にまで復帰している。
【００３４】
このように各フレームの入力画像が安定している状態下では、常に入力画像に設定された倍率に応じた明るさの画像が出力されるから、画像の調整開始操作の後に、必要な明るさの画像を即座に得ることができる。また処理開始時や処理の途中で画像にノイズがのった場合も、調整変数による調整処理によりノイズを除去できる。しかも各画素データＡ，Ｂ間の差分値の絶対値が大きいほど、調整変数Ｘの絶対値も大きく設定されるので、調整画像上でのノイズの影響を速やかに小さくでき、ユーザは、安定した観測処理を行うことができる。
【００３５】
またステージ４上の対象物ＯＢが取り替えられたり、照明条件が変動するなどして、入力画像の明るさが変動した場合も、上記の調整処理によれば、入力画像の変動に速やかに追随する調整画像を出力することができ、観測処理をスムーズに進めることができる。
【００３６】
ここで上記の画像処理装置１の構成や設定の追加，変更について、簡単に説明する。
まずバレルシフタ１８に設定された乗算用の倍数値は、ユーザの操作により適宜変更することが可能である。この場合、フレームバッファ２１の記憶画像は、倍率の変更指示直後の入力画像に書き換えられた後、再び、上記した画像調整処理が行われて、新たな倍率による調整画像が出力されることになる。この時点での入力画像に格段のノイズがなければ、前記図４（２）と同様に、倍率変更指示の直後から変更された倍率に応じた調整画像が生成されるので、ユーザの倍率変更指示により、指示された倍率の画像を即座にモニタ上に呼び出すことが可能となる。
【００３７】
また上記実施例ではディジタル処理後の入力画像の各画素データを所定倍するようにしたが、これに代えて、アナログ信号の段階の入力画像を所定のゲインで増幅処理した後、ディジタル変換して、比較回路１９に入力するように、構成してもよい。
【００３８】
さらに画像処理装置１側で、入力画像全体またはその一部領域内の明るさを抽出し、その抽出値に基づいて、所定明るさの調整画像を得るための倍率をバレルシフタ１８に設定することも可能である。この処理によれば、必要とする明るさの調整画像が自動的に生成されるので、常に安定した観測処理を行うことができる。
なおこの倍率を設定するための画像の明るさとして、任意の固定値を設定してもよいが、ユーザにより適宜、明るさの設定値を変更できるようにするのが望ましい。
【００３９】
つぎに比較回路１９にセットされるしきい値±ＴＨ１，±ＴＨ２や、加算回路２０にセットされる調整変数Ｘ用の設定値についても、倍率と同様に、適宜、変更できるように設定すれば、種々の観測条件に対応でき、装置の利用範囲を拡大することができる。なお調整変数Ｘは、複数の離散的な値に限らず、画素データＡ，Ｂの差分値そのもの、もしくは差分値を所定の数式にあてはめて得られる値を採用することも可能である。
【００４０】
また上記の実施例では、調整変数の加算処理により明るさ調整画像上のノイズを除去するようにしているが、これに代えて、明るさ調整画像に調整変数を乗算するように構成を変更してもよい。この場合の調整変数は必ず正値をとるが、明るさ調整画像側の画素データＡとフレームバッファ２１内の記憶画像の画素データＢとの間の関係がＡ＜Ｂであれば、１より小さい値の調整変数がセットされる。逆にＡ＞Ｂであれば１より大きい値の調整変数がセットされ、Ａ＝Ｂの関係にあれば、調整変数として「１」が設定されることになる。なおこの場合も、Ａ，Ｂの差分値の絶対値が大きくなるほど、画像の調整量が大きくなるように、調整変数を差分値に応じて変動させる必要がある。
【００４１】
【発明の効果】
上記したようにこの発明では、画像が入力される毎に、その入力画像を所定倍し、さらに明るさ調整後の画像と１フレーム前に調整された画像とを比較して、その比較結果に応じた調整変数により画像を調整して出力するので、安定した入力画像が得られている場合は、現時点での入力画像を明るさ調整した画像と同様の画像、またはこの明るさ調整画像にきわめて近い画像を出力することが可能となる。したがって処理開始直後から必要な明るさを具備する画像を得ることが可能となり、画像処理効率が大幅に向上する。
【００４２】
また処理開始時や処理の途中で、入力画像上にノイズが発生しても、画像調整処理によりそのノイズを軽減させた調整画像を出力でき、加えて調整画像上のノイズの影響を速やかに除去することができる。また対象物の変更や照明条件の変動により、入力画像の明るさが変わった場合にも、その変動に速やかに追随する調整画像を生成して対応することができる。
【００４４】
請求項１の発明では、画像調整処理の開始指示に応じて、その後の最初の入力画像を記憶手段に記憶させた後、以後、画像調整手段より出力される調整画像により記憶手段内のデータを順次書き換えていくので、処理の開始時点での入力画像にノイズなどの不備がなければ、必要な明るさの画像をすぐに生成することができ、特に対象物の観測処理に適した画像処理装置を提供することができる。
【００４５】
請求項２の発明では、乗算手段により画像の明るさ調整に用いる倍率の変更を可能とし、倍率の変更指示がなされた直後の入力画像をベースとして、順次、画像の調整処理を行いつつ、生成された調整画像により記憶手段内の画像を書き換えていくので、倍率の変更指示時点での入力画像にノイズなどの不備がなければ、設定された倍率に応じた明るさの画像をすぐに生成することができ、所望の倍率による画像を即座に提供することができる。
【図面の簡単な説明】
【図１】この発明が適用された画像処理システムの概略構成を示す説明図である。
【図２】画像処理装置の構成を示すブロック図である。
【図３】図２の画像処理回路の詳細な構成を示すブロック図である。
【図４】画像調整処理の具体例を示す説明図である。
【符号の説明】
１    画像処理装置
２，６  モニタ
７    マウス
１２  画像処理回路
１３  ＣＰＵ
１８  バレルシフタ
１９  比較回路
２０  加算回路
２１  フレームバッファ
２２  セレクタ
【図１】
0003692799.tif 000002
【図２】
0003692799.tif 000003
【図３】
0003692799.tif 000004
【図４】
0003692799.tif 000005