(57)【特許請求の範囲】
【請求項１】
撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力手段と、
前記入力手段によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶する記憶手段と、
注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較手段と、
前記比較手段による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記露出情報とは、シャッタスピード、アイリス、ゲインに関する情報のいずれか、もしくはその組み合わせであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力手段は、前記撮像手段を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数領域を設定する設定手段を有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記通知処理として、その結果を外部へ通知する手段を有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力工程と、
前記入力工程によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶手段に記憶する記憶工程と、
注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較工程と、
前記比較工程による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御工程と、
を行うことを特徴とする画像処理方法。
【請求項７】
撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力工程と、
前記入力工程によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶手段に記憶する記憶工程と、
注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較工程と、
前記比較工程による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御工程と、
をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体に関し、特に、撮影システムに関し、より具体的には撮影時の光学的パラメータを、コンピュータにより自在に制御できるようにした撮影システムに関する。
【０００２】
【従来の技術】
背景差分と呼ばれる画像処理技術によって画像の変化から動体の存在を検出する撮影システムが実用化されている。従来、この種の動体検出システムでは、注目している情景の明度的な変化に対応するために、画像情報を手がかりにして背景画像の更新を行なうのが一般的な方法であった。
【０００３】
【発明が解決しようとする課題】
前記背景差分と呼ばれる画像処理技術から得られる応答には、動体の存在に起因する場合と、注目している情景の明度的な変化に起因する場合とがある。前記動体の存在に起因する場合には、それを通告する必要があり、また、前記明度的な変化に起因する場合には背景画像の更新を行なう必要がある。
【０００４】
しかしながら、従来の技術では、画像情報のみから両者を分離するようにしていたので、その応答がどちらに起因するものであるのかを判断する際に曖昧さが残る問題があった。
【０００５】
本発明はこのような不具合を解消し、動体の存在に起因する応答と、注目している情景の明度的な変化に起因する応答とを明確に分離して、より精度の高い動体検出を行なうことができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力手段と、前記入力手段によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶する記憶手段と、注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較手段と、前記比較手段による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御手段とを有する。
【０００７】
本発明の画像処理方法は、撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力工程と、前記入力工程によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶手段に記憶する記憶工程と、注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較工程と、前記比較工程による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御工程とを行う。
【０００８】
本発明のコンピュータ読み取り可能な記憶媒体は、撮像手段によって得られた画像データと、前記画像データを得る際の複数領域における前記撮像手段の露出情報及び合点距離情報とを入力する入力工程と、前記入力工程によって入力された画像データと前記入力された画像データの複数領域に対応する露出情報及び合点距離情報とを記憶手段に記憶する記憶工程と、注目画像データに対応する合点距離情報及び露出情報と前記記憶手段に記憶された合点距離情報及び露出情報とを前記複数領域に関して比較する比較工程と、前記比較工程による前記複数領域に関する比較の結果、前記注目画像データの合点距離情報が前記記憶手段の合点距離情報と異なっている場合は、前記記憶手段の画像データの更新は行わずに動体検知の通知処理を行い、前記注目画像データの合点距離情報が前記記憶手段の露出情報と同じであっても前記注目画像データの前記複数領域のいずれの露出情報も前記記憶手段の露出情報と異なっている場合は、前記記憶手段に記憶される画像データの更新を行うとともに前記記憶手段に記憶される前記複数領域の露出情報及び合点距離情報の更新も行うように制御する制御工程とをコンピュータに実行させるためのプログラムを記憶する。
【０００９】
【発明の実施の形態】
本実施の形態は、光学的（撮像）パラメータを最適化するとともに、外部参照及び外部制御可能な撮影システムを用いる。また、この撮影システムは光学的パラメータの最適化、外部参照及び外部制御を行なう際に画像上に対象となる領域（これを測定領域と呼ぶ）を設定及び表示する機能を有している。
【００１０】
このような撮影システムを用いて、背景画像を撮影すると同時に最適な光学的パラメータを測定領域毎に記憶する。そして、その後に照明条件の変化などにより光学的パラメータが変化した場合には、記憶した光学的パラメータと現在の光学的パラメータとの相違を測定領域毎に計算することにより、背景画像及び光学的パラメータを自動的に更新する。
【００１１】
前記光学的パラメータとしては、シャッタースピード、アイリス（絞り）、ゲイン（映像信号増幅率）、ホワイトバランス、フォーカス、ズームなど様々なものが考えられるが、本実施の形態ではシャッタースピード、アイリス、ゲイン、フォーカスの４つの光学的パラメータを用いる例を示している。
【００１２】
ここでいうフォーカスとは、合焦状態となるフォーカスレンズの位置から求まる被写体までの距離の情報であるとする。また、以下の説明では本実施の形態で用いる４つの光学的パラメータを大きく二つに分け、シャッタースピード、アイリス、ゲインを露出情報、フォーカスを距離情報と表す。以下に、本実施の形態のハードウェア構成と原理および処理手順を示す。
【００１３】
図１は、本実施の形態の画像処理装置のハードウェア構成を示すブロック図である。ハードウェアは、カメラシステム1-1 とカメラシステム制御装置1-6 とから構成される。
【００１４】
図１に示したように、カメラシステム1-1 は、画像を入力する撮像系1-2 とカメラの光学的パラメータを制御する光学的パラメータ制御装置1-3 、さらに光学的パラメータ制御装置1-3 の制御対象となる領域を設定する測定領域制御装置1-4 からなる。
【００１５】
光学的パラメータ制御装置1-3 は、制御信号線を通じてカメラシステム制御装置1-6 と接続されており、制御信号を通信することによって、カメラシステム制御装置1-6 から、光学的パラメータの設定、取得、最適化などの制御が可能である。
【００１６】
ここで、制御信号線としてはRS-232C やパラレルIO等があるが、通信方式の規格は限定されない。なお、撮像系1-2 の映像出力信号はNTSC形式やYC分離方式などがあり、映像は外部の映像モニタ1-15に直接出力する。
【００１７】
光学的パラメータ制御装置1-3 は、撮影する情景に応じて光学的パラメータを自動制御する機能をも持つ。これは、例えば画面の明度バランスを自動的に調整する機能や、合焦画像を自動的に得る機能などである。
【００１８】
また、合焦状態のフォーカスレンズの位置から被写体までの距離を求めることも可能である。これらの機能は家庭用のビデオカメラに内蔵されているカメラモジュールを用いることで容易に実現できる。
【００１９】
光学的パラメータの調整をカメラシステム制御装置1-6 から行なうか、もしくは光学的パラメータ制御装置の持つ自動制御機能に任せるかは、制御信号線を通じてカメラシステム制御装置1-6 から指示することができる。
【００２０】
測定領域制御装置1-4 は、カメラシステム制御装置1-6 から制御信号を通じて制御が可能であり、光学的パラメータ制御装置1-3 の制御の対象となる測定領域の大きさや位置を設定することができる。
【００２１】
カメラシステム制御装置1-6 は、CPU1-7、RAM1-8、ROM1-9、二次記憶装置1-10、カメラシステムとの通信を行なうI/O 1-11、ネットワーク1-17を通じて外部からカメラシステム制御命令を行なう通信装置1-12を具備する。
【００２２】
CPU1-7、RAM1-8、ROM1-9、二次記憶装置1-1O、I/O 1-11、通信装置1-12はバス1-16に接続されている。カメラシステム制御装置1-6 は汎用のコンピュータにより実現できる。バス1-16にはキーボード1-13、マウスなどのポインティングデバイス1-14、映像モニタ1-15が接続されている。
【００２３】
カメラシステム制御装置1-6 は、キーボードおよびマウスからの入力またはネットワークを介して遠隔地から送信された制御信号に従い、制御信号線を通じて光学的パラメータ制御装置1-3 に信号を送ることで同装置を制御する。
【００２４】
次に、図２を用いて本実施の形態の画像処理装置の基本原理を説明する。
図２-(a)は、カメラシステム1-1 がある情景の画像を撮影する様子と、それと同時に、光学的パラメータ制御装置1-3 と測定領域制御装置1-4 を使用して、撮影している情景における最適な光学的パラメータを各測定領域毎に獲得している様子を示したものである。
【００２５】
図２において、2-1 は図１のカメラシステム1-1 であり、2-2 は注目している情景である。また、2-3 は前記注目している情景2-2 を拡大した図であるが、測定領域制御装置1-4 を用いて網掛で示したような測定領域(2-4など）を設定している。
【００２６】
このように、情景中の各々の測定領域を対象として、光学的パラメータ制御装置1-3 がシャッタースピード、アイリス、ゲイン及びフォーカスを最適化した後で、その最適値に加えて測定領域の大きさ、位置の値をカメラシステム制御装置1-6 に具備されているRAM1-8に記憶する。
【００２７】
図２-(b)は、図２-(a)で撮影された情景画像、及びRAM1-8に記憶された各光学的パラメータの例である。図２-(b)に示したように、測定領域毎に各光学的パラメータが格納されている。なお、図２-(b)において2-5 は、図２-(a)の2-2 をRAM1-8に記憶したものである。
【００２８】
本実施の形態において、背景画像及び光学的パラメータの更新処理は次のようにして行う。すなわち、カメラシステム1-1 に具備されている光学的パラメータ制御装置1-3 が測定領域制御装置1-4 を用いて、再び図２-(a)に示すように測定領域単位で注目している情景における露出情報と距離情報からなる光学的パラメータの最適値を求める。
【００２９】
その結果、全ての測定領域において距離情報の値が記憶している値と同じであり、かつ全ての測定領域において露出情報が記憶値と異なっていれば背景画像に明度的な変化が生じたものとみなし、背景画像及び光学的パラメータの更新を行なう。
【００３０】
逆に、少なくともひとつの測定領域において距離情報の値が記憶値と異なっているか、または一部の測定領域に限って露出情報が変化している場合には動体が存在しているので、動体の存在を検出した旨を通知する。この処理を実現するプログラムはROM1-9、二次記憶装置1-10、もしくは特に図示しない適当な場所にあり、CPU1-7を用いて実行される。
【００３１】
このように、ある時点における最適な光学的パラメータの値をRAM1-8に記憶しておき、前記記憶しておいた光学的パラメータの値と現在の光学的パラメータの値と比較することにより、複雑な画像処理を行なうことなく背景画像の明度的な変化を検出し、画像の更新を行なうことができる。
【００３２】
また、露出情報と距離情報のように複数の情報を併せて使用することにより、背景画像を更新するタイミングであるのか、それとも動体の存在の検出であるのかを高精度に判断することが可能である。
【００３３】
次に、本実施の形態の処理手順を、図３のフローチャートを用いて説明する。本実施の形態の画像処理装置は、プログラムの起動後、先ず、最初のステップS301において初期設定として測定領域のサイズ決定を行なう。
【００３４】
次に、ステップS302〜ステップS306の処理で光学的パラメータの記憶を行なう。本実施の形態では、複数個の測定領域を設定しているため、全ての測定領域において光学的パラメータの最適値を参照及び記憶するまで、当該処理を繰り返すようにしている。
【００３５】
すなわち、まず、ステップS302において、測定領域を初期位置へ移動し、シャッタースピード、アイリス、ゲイン及びフォーカスなどの光学的パラメータの最適値の参照及びRAM1-8への記憶を行なう( ステップS304、ステップS305）。
【００３６】
次に、ステップS306において、全ての領域で処理が終了しているかどうかを判断し、終了していなければステップS303に進んで測定領域を移動して、再び光学的パラメータの参照及び記憶を行なう( ステップS304、ステップS305）。
【００３７】
一方、ステップS306の判断の結果、全ての領域で処理が終了している場合には、ステップ S307 においてその時点の情景を背景画像として同じくRAM1-8に記憶する。
【００３８】
次に、ステップ S308 〜ステップ S313 において、背景画像を更新するか否かを判断する処理に関して説明する。ここでもやはり、本実施の形態では複数個の測定領域を設定しているという理由により、全ての領域で光学的パラメータの比較を行なうようになっている。
【００３９】
まず、始めに、ステップ S308 において、測定領域を初期位置へ移動し、その後、ステップ S310 に進んで露出情報（シャッタースピード、アイリス、ゲイン）及び距離情報（フォーカス）の光学的パラメータの参照を行なう。
【００４０】
次に、ステップ S311 に進み、参照した光学的パラメータのうち、まず始めに距離情報に着目する。いま、参照した距離情報とRAM1-8に記憶されていた同じ測定領域の距離情報とを比較し、これらが異なるときにはステップ S314 に進んで動体の検出を通知する処理を行う。この場合、背景画像は更新されない。
【００４１】
一方、ステップ S311 の判断の結果、距離情報が等しい場合にはステップ S312 に進み、露出情報に着目する。いま参照した露出情報とメモリに記憶されていた同じ測定領域の露出情報の各値とを比較し、それらがひとつでも異なる場合、背景画像更新の可能性があるとしてステップ S313 に移動し、次の領域を同様に参照及び比較する( ステップ S308 〜ステップ S312 ）。
【００４２】
また、全ての測定領域において距離情報が記憶と等しく、全ての測定領域において露出情報が記憶と異なる場合、ステップ S313 からステップ S302 に移動して背景画像の更新を行なう。
【００４３】
この一連の処理の中で、距離情報は全ての測定領域において記憶と等しいが、露出情報については記憶と等しい測定領域が１個所でも存在した場合( ステップ S312)は、注目している情景の明度的な変化ではないと判断し、ここでは背景画像の更新を行なわずに再びステップ S308 から始まる背景画像を更新するか否かを判断する処理に戻る。
【００４４】
以上に述べた通り、本実施の形態では、各ステップ S304 、S305、S310、S312で扱う露出情報については、シャッタースピード、アイリス及びゲインの３種類のパラメータを用いているが、一般的にはこれらのパラメータに限定されるものではなく、例えばホワイトバランスなどといったその他の露出情報を用いるか、または併用することも可能である。
【００４５】
さらに、例えばシャッタースピードとアイリスが固定値で、ゲインのみが可変であるような光学的パラメータ制御装置を具備するカメラシステムに関しては、ゲインの値のみでステップ S304 、S305、S310、S312の各処理を実現することも可能である。
【００４６】
また、ステップS311、S312において光学的パラメータの比較を行なう際、ここではまず始めに距離情報を比較し、次に、露出情報を比較しているが、一般的にこの順序に限定されるものではなく、これらの順番を変更したとしても適当にステップの流れを変更することにより同様の作業が実現可能である。
【００４７】
（第２の実施の形態）
上述の第１の実施の形態におけるステップ S311 、 S312 では、記憶値と現在の測定値が同値であるか否かで判断する例を説明したが、本発明は必ずしもこれに限らない。すなわち、記憶値と現在の測定値との差の絶対値が、あらかじめ定めた所定値以上となるか否かで判断するように構成してもよい。
【００４８】
また、露出情報に着目すると、シャッタースピードの値の差の絶対値ΔS 、アイリスの値の差の絶対値ΔI 、ゲインの値の差の絶対値ΔG により定まる値ΔE を、例えば、あらかじめ適当に定める係数αS 、αI 、αG を用いて、
ΔE=αs ΔS+αI ΔI+αG ΔG
の如くに定めて、ΔE があらかじめ定めた所定値ΔETH より大きいか否かで判断する等、複数の露出情報の変化量の組み合わせに基づいた判断をしてもよい。
【００４９】
（第３の実施の形態）
上述の第１の実施の形態では、光学的パラメータの変化の検出を複数の測定領域で行ない、これらの全ての測定領域で距離情報が変化しておらず、かつ全ての測定領域で露出情報が変化している場合に、背景画像の更新を行なうように構成したが、本発明は必ずしもこれに限るものではない。例えば、複数の測定領域の大部分（例えば８割以上等）において距離情報が変化せず、露出情報が変化している場合には、背景画像が変化したとみなして、背景画像を更新するように構成してもよい。
【００５０】
（本発明の他の実施形態）
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００５１】
また、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００５２】
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５３】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５４】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５５】
【発明の効果】
本発明によれば、複数領域に関る動体検出とともに、その動体検出に用いる背景画像及び撮像パラメータの更新を行えるので、より精度の高い動体検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の概略構成を示すブロック図である。
【図２】光学的パラメータの参照機能を用いた背景画像更新処理の基本原理の説明図である。
【図３】原理を実現する処理手順を説明するフローチャートである。
【符号の説明】
1-1   カメラシステム
1-2   撮像系
1-3   光学的パラメータ制御装置1
1-4   測定領域制御装置
1-6   カメラシステム制御装置
1-7  CPU
1-8  RAM
1-9  ROM
1-10  二次記憶装置
1-11  I/O
1-12  通信装置
1-13  キーボード
1-14  ポインティングデバイス
1-15  映像モニタ
1-16  バス
1-17  ネットワーク
【図１】
0003697082.tif 000002
【図２】
0003697082.tif 000003
【図３】
0003697082.tif 000004