(57)【要約】【課題】画像中の移動物体検出処理の演算量を低減させることを課題とする。【解決手段】画像センサ１０が出力した画像データは、ＳＩＵ・ＳＰＵ２１、ＲＰＵ２２を介して非圧縮画像データＡ，Ｂとしてメモリ３０に格納される。画像データＡ，Ｂはリサイズ処理部２２１において縮小されて縮小画像データａ，ｂとしてメモリ３０に格納される。ＣＰＵ２４は、画像データａ，ｂを読み込み、差分データＣを算出する。さらに、ＣＰＵ２４は、差分データＣに基づいて画像中の動き物体の検出処理を実行する。【選択図】        図１
2005012548.tif 000002
【特許請求の範囲】
【請求項１】
第１および第２の画像データを格納するメモリと、
第１および第２の画像データの画像サイズを縮小して、第１および第２の縮小画像データを得る縮小手段と、
前記第１の縮小画像データと前記第２の縮小画像データとの間で移動する物体の動き検出を行うことにより、前記第１の画像データと前記第２の画像データとの間で移動する物体の検出を行う検出手段と、
を備えることを特徴とする動き検出装置。
【請求項２】
請求項１に記載の動き検出装置において、さらに、
画像センサが連続的に出力する画像データを入力し、当該画像データにリアルタイムで所定の画像処理を施すとともに、処理後の画像データを前記メモリに転送する画像取得手段、
を備え、
前記画像取得手段によってリアルタイムに取得された画像データの中から所定の方法で選択された２つの画像を前記第１および第２の画像データとして、リアルタイムに前記縮小手段と前記検出手段を動作させることにより、移動する物体の動きを検出することを特徴とする動き検出装置。
【請求項３】
請求項２に記載の動き検出装置において、さらに、
前記画像取得手段によって前記メモリに転送された画像データを圧縮し、圧縮画像データを出力する圧縮手段、
を備え、
前記画像取得手段と前記圧縮手段とを動作させて圧縮画像データを出力する処理と、前記縮小手段と前記検出手段とを動作させて移動する物体の動きを検出する処理とをリアルタイムで並行処理することを特徴とする動き検出装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の動き検出装置において、前記動き検出装置は、画像を撮像する撮像装置内部に組み込まれており、
前記縮小手段はデジタルカメラで使用される画像縮小用回路を利用していることを特徴とする動き検出装置。
【請求項５】
請求項４に記載の前記撮像装置が撮像した画像を監視センタのモニタに出力することにより、所定のエリアの監視を行うシステムであって、
前記圧縮手段によって圧縮された画像が前記監視センタに転送されることにより前記モニタに出力され、前記検出手段によって移動物体の動きが検出された場合に、前記監視センタに警告通知が行われることを特徴とする監視システム。
【請求項６】
第１の画像データの画像サイズを縮小して、第１の縮小画像データを得る工程と、
第２の画像データの画像サイズを縮小して、第２の縮小画像データを得る工程と、
前記第１の縮小画像データと前記第２の縮小画像データとの間で移動する物体の動きを検出することにより、前記第１の画像データと前記第２の画像データにとの間で移動する物体を検出する工程と、
を備えることを特徴とする動き検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視システムなどに利用される技術であって、詳しくは撮像画像内の移動物体を検出する技術に関する。
【０００２】
【従来の技術】
カメラで撮像した画像を監視室などのモニタに映し出すことによって、所定の領域の監視を行うシステムが存在する。また、カメラで撮像された画像は、監視室などに設置されたハードディスクレコーダやテープ装置などの記憶装置において記録される。
【０００３】
このようなシステムにおいて、監視員が全ての画像を目視で確認することができればよいが、そのような作業は負担も大きく、現実的には困難な作業である。
【０００４】
そこで、従来、記憶装置に記録された画像に対して動き検出処理を実行し、撮像領域に動く物体が存在しているか否かの判定を自動的に行う方法が取られている。さらに、動き物体を検出した際には、監視室内のモニタに警告表示を行うことや、警報を鳴らすなどの動作を実行することにより、監視員に移動物体の存在を迅速に通知するようにしている。このような方法をとることにより、監視員による画像確認作業の負担を軽減させることが可能である。
【０００５】
【発明が解決しようとする課題】
上記のような動き検出処理は、また、リアルタイム処理が要求される場合がある。たとえば、監視領域内に動く物体が存在する場合に、なるべく早く警報を鳴らして、監視員に早急な通知を行うことを目的とするような場合である。
【０００６】
しかし、従来から行われているリアルタイムの動き検出処理は、演算量が非常に大きいため、高速なＣＰＵを用いるか専用ハードウェアを用いる必要があった。このため、監視システムのコストを高くする一要因ともなっていた。また、監視システムでは、画像を圧縮して記憶装置に記憶する処理も行わなければならないので、動き検出処理の処理負荷をなるべく小さくしたいという要求も存在する。
【０００７】
そこで、本発明は前記問題点に鑑み、画像記録システムにおける動き検出処理の処理負荷を軽減させることを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、第１および第２の画像データを格納するメモリと、第１および第２の画像データの画像サイズを縮小して、第１および第２の縮小画像データを得る縮小手段と、前記第１の縮小画像データと前記第２の縮小画像データとの間で移動する物体の動き検出を行うことにより、前記第１の画像データと前記第２の画像データとの間で移動する物体の検出を行う検出手段と、を備えることを特徴とする。
【０００９】
請求項２記載の発明は、請求項１に記載の動き検出装置において、さらに、画像センサが連続的に出力する画像データを入力し、当該画像データにリアルタイムで所定の画像処理を施すとともに、処理後の画像データを前記メモリに転送する画像取得手段、を備え、前記画像取得手段によってリアルタイムに取得された画像データの中から所定の方法で選択された２つの画像を前記第１および第２の画像データとして、リアルタイムに前記縮小手段と前記検出手段を動作させることにより、移動する物体の動きを検出することを特徴とする。
【００１０】
請求項３記載の発明は、請求項２に記載の動き検出装置において、さらに、前記画像取得手段によって前記メモリに転送された画像データを圧縮し、圧縮画像データを出力する圧縮手段、を備え、前記画像取得手段と前記圧縮手段とを動作させて圧縮画像データを出力する処理と、前記縮小手段と前記検出手段とを動作させて移動する物体の動きを検出する処理とをリアルタイムで並行処理することを特徴とする。
【００１１】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の動き検出装置において、前記動き検出装置は、画像を撮像する撮像装置内部に組み込まれており、前記縮小手段はデジタルカメラで使用される画像縮小用回路を利用していることを特徴とする。
【００１２】
請求項５記載の発明は、請求項４に記載の前記撮像装置が撮像した画像を監視センタのモニタに出力することにより、所定のエリアの監視を行うシステムであって、前記圧縮手段によって圧縮された画像が前記監視センタに転送されることにより前記モニタに出力され、前記検出手段によって移動物体の動きが検出された場合に、前記監視センタに警告通知が行われることを特徴とする。
【００１３】
請求項６記載の発明は、第１の画像データの画像サイズを縮小して、第１の縮小画像データを得る工程と、第２の画像データの画像サイズを縮小して、第２の縮小画像データを得る工程と、前記第１の縮小画像データと前記第２の縮小画像データとの間で移動する物体の動きを検出することにより、前記第１の画像データと前記第２の画像データにとの間で移動する物体を検出する工程と、を備えることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、動画を撮像するとともに、撮影した動画像をデジタル画像として出力可能な撮像装置１の全体概略図である。撮像装置１は、画像センサ１０、画像処理用チップ２０、メモリ３０を備えている。
【００１５】
画像センサ１０は、被写体からの反射光をアナログ画像信号に変換してアナログの画像信号を出力する。なお、画像センサ１０としてはＣＣＤエリアセンサやＣＭＯＳエリアセンサを採用すればよい。画像センサ１０から出力されたアナログの画像信号は、図示せぬアナログ信号処理回路においてＡ／Ｄ変換され、デジタルの画像信号として出力される。
【００１６】
画像処理用チップ２０は、ＳＩＵ（Ｓｉｇｎａｌ  Ｉｎｐｕｔ  Ｕｎｉｔ）・ＳＰＵ（Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１、ＲＰＵ（Ｒｅａｌ−ｔｉｍｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２、圧縮・伸張処理部２３、ＣＰＵ２４、ＢＩＵ（Ｂｕｓ  Ｉｎｔｅｒｆａｃｅ  Ｕｎｉｔ）・ＭＩＵ（Ｍｅｍｏｒｙ  Ｉｎｔｅｒｆａｃｅ  Ｕｎｉｔ）２５、ＤＭＡコントローラ（ＤＭＡＣ）２６、内蔵Ｉ／Ｏ２７を備え、これら各回路、装置がバス２９を介して相互に接続されている。このバス２９は、アドレスバスやデータバス、ＤＭＡ転送用バスなどから構成される。
【００１７】
また、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）あるいはＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などのメモリ３０がＢＩＵ・ＭＩＵ２５を介してバス２９と接続されている。本実施の形態においては、メモリ３０は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）を採用している。
【００１８】
次に、画像処理チップ２０が備える各回路、装置の機能について説明する。
【００１９】
ＳＩＵ・ＳＰＵ２１は、デジタル画像信号に対して画像の補正処理を実行する機能や、画像センサ用のタイミング生成機能を備えている。
【００２０】
ＲＰＵ２２は、ＳＩＵ・ＳＰＵ２１から入力する画像信号に対して、画素ごとの加算・乗算処理、シェーディング補正処理、画素補間処理、色変換処理、空間フィルタ処理、リサイズ処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。なお、図１においては、ＲＰＵ２２の備える複数の機能の中で、本発明の特徴に関係する機能としてリサイズ処理部２２１のみを図示している。
【００２１】
ＲＰＵ２２がバス２９に出力した信号は、ＣＰＵ２４の制御によってＢＩＵ・ＭＩＵ２５を介してメモリ３０に格納することができる。なお、バス２９を介したデータ転送は、ＣＰＵ２４の代わりにＤＭＡコントローラ２６で行われてもよい。
【００２２】
ＣＰＵ２４は、メモリ３０からプログラムをロードして実行することにより、メモリ３０から読出した画像データに様々なソフトウェア処理を施すことができる。またＣＰＵ２４は、圧縮・伸張処理部２３を起動し、この圧縮・伸張処理部２３に画像データを与えて圧縮符号化を実行させることや、圧縮符号化データを与えて復号化させることが可能である。圧縮・伸張処理部２３で圧縮符号化されたデータは、ＢＩＵ・ＭＩＵ２５を介してメモリ３０に書き込まれる。
【００２３】
また、画像処理用チップ２０は、各種の周辺機器として内蔵Ｉ／Ｏ２７を備えている。
【００２４】
次に、以上のような構成の撮像装置１の動作について説明する。まず、撮像装置１の動作のうち、撮像した画像を圧縮して記録する圧縮処理について図２のフローチャートを参照しながら説明する。
【００２５】
まず、画像センサ１０が画像データを出力する（ステップＳ１０１）。画像データは、デジタル変換された後、ＳＩＵ・ＳＰＵ２１において補正処理が実行される（ステップＳ１０２）。ＳＩＵ・ＳＰＵ２１から出力された画像データは、次に、ＲＰＵ２２において所定の画像処理が施され、メモリ３０に格納される（ステップＳ１０３）。
【００２６】
この状態で、画像センサ１０が撮像した画像が非圧縮の状態でメモリ３０に格納されることになる。ここでメモリ３０に格納される画像データを非圧縮画像データＡ，Ｂなどと呼ぶこととする。
【００２７】
次に、メモリ３０に格納された画像データが圧縮・伸張処理部に読み込まれ、画像データに圧縮処理が実行される（ステップＳ１０４）。そして、圧縮された画像データが再度メモリ３０に格納される（ステップＳ１０５）。
【００２８】
以上の処理により、画像センサ１０が撮像した画像は、圧縮画像となってメモリ３０に格納される。メモリ３０に格納された画像は、たとえば、ネットワーク経由でハードディスクレコーダに転送されて記録される。あるいは、ハードディスクレコーダに接続されたモニタにリアルタイム映像として出力される。このように、この撮像装置１は、監視システムなどに利用可能となっている。
【００２９】
次に、撮像装置１の動作のうち、動き検出処理について図３を参照しながら説明する。前述の如く、画像の圧縮処理を行う過程で、非圧縮画像データＡ，Ｂがメモリ３０に格納されている。まず、非圧縮画像データＡがメモリ３０からＲＰＵ２２へ読み出される（ステップＳ２０１）。そして、ＲＰＵ２２のリサイズ処理部２２１において非圧縮画像データＡの画素サイズが縮小され、縮小画像データａがメモリ３０へ書き込まれる（ステップＳ２０２）。
【００３０】
次に、非圧縮画像データＢがメモリ３０からＲＰＵ２２へ読み出される（ステップＳ２０３）。そして、ＲＰＵ２２のリサイズ処理部２２１において非圧縮画像データＢの画素サイズが縮小され、縮小画像データｂがメモリ３０へ書き込まれる（ステップＳ２０４）。
【００３１】
ここで、上記非圧縮画像データＡ，Ｂは、動き検出を行うために所定の方法により選択される。たとえば、動き検出を行う２つの画像のフレーム間隔や時間間隔が決められており、この基準にしたがって非圧縮画像データＡ，Ｂが選択される。
【００３２】
次に、縮小画像データａ，ｂがメモリ３０からＲＰＵ２２へ読み出される（ステップＳ２０５）。そして、ＲＰＵ２２において縮小画像データａとｂの差分データＣが演算され、差分データＣがメモリ３０へ書き込まれる（ステップＳ２０６）。
【００３３】
次に、差分データＣがメモリ３０からＣＰＵ２４へ読み出される（ステップＳ２０７）。そして、ＣＰＵ２４において差分データＣにＦＦＴ演算が施され、エッジ方向データおよび周波数データが算出される（ステップＳ２０８）。
【００３４】
次に、ＣＰＵ２４においてエッジ方向データから動き方向が算出され（ステップＳ２０９）、周波数データから動きの大きさが算出される（ステップＳ２１０）。そして、動き方向および動きの大きさに関するデータがメモリ３０に書き込まれる（ステップＳ２１１）。
【００３５】
このように、本実施の形態においては、ＣＰＵ２４において画像の動き検出処理を実行する前に、ＲＰＵ２２のリサイズ処理部２２１において画像を縮小処理するようにしている。したがって、ＣＰＵ２４における動き検出処理の演算量を低減させることが可能である。そして、動き検出処理の高速化を図ることが可能である。
【００３６】
また、縮小処理を実行するリサイズ処理部２２１は、デジタルカメラなどにおいてサムネイル表示用の画像を生成する目的等で使用されている汎用の画像縮小用ハードウェアエンジンを利用しているので、コスト面でも優位である。つまり、本実施の形態にかかる動き検出処理は、画像処理チップ２０としてデジタルカメラなどに利用されている汎用の画像チップを利用することが可能である。
【００３７】
そして、動き検出処理の演算量が小さくなっているので、ＣＰＵ２４に要求される処理能力が小さくなる。これにより、比較的スペックの低いＣＰＵを利用することが可能であり、コスト的に優位である。
【００３８】
次に、図２を用いて説明した圧縮処理（処理Ｘ）と、図３を用いて説明した動き検出処理（処理Ｙ）の動作タイミングについて説明する。図４および図５は、圧縮処理（処理Ｘ）と動き検出処理（処理Ｙ）との動作タイミングを模式的に示した図である。
【００３９】
まず、図４について説明する。図４は、圧縮処理（処理Ｘ）と動き検出処理（処理Ｙ）とが同じフレームレートで実行される場合を示している。図は、左から右に時間の流れを示しており、期間Ｔ１は、１フレームの画像データが画像センサ１０より出力される間隔を示している。
【００４０】
図に示すように、あるフレームについての圧縮処理（処理Ｘ）を実行した後、次のフレームの圧縮処理（処理Ｘ）を実行する前に、動き検出処理（処理Ｙ）を実行しているのである。そして、処理Ｙは、処理Ｘと同じフレームレートで実行されている。この場合であれば、画像処理チップ２０は、動画像のフレームレートと同じフレームレートで動き検出処理を実行することになる。
【００４１】
次に、図５について説明する。図５は、圧縮処理（処理Ｘ）と動き検出処理（処理Ｙ）とが異なるフレームレートで実行される場合を示している。図は、左から右に時間の流れを示しており、期間Ｔ１は、１フレームの画像データが画像センサ１０より出力される間隔を示している。
【００４２】
この場合も同様に、あるフレームについての圧縮処理（処理Ｘ）を実行した後、次のフレームの圧縮処理（処理Ｘ）を実行する前に、動き検出処理（処理Ｙ）を実行しているのである。しかし、処理Ｙは、２つの処理ブロック（処理Ｙ１および処理Ｙ２）に分割されており、処理Ｘが２回実行される間に、処理Ｙが１回実行される関係となっている。したがって、図５では、処理Ｙは処理Ｘの１／２のフレームレートで実行されている。
【００４３】
たとえば、図３で示したフローチャートの中で、ステップＳ２０１〜Ｓ２０５を処理Ｙ１として実行し、次のタイミングで、ステップＳ２０６〜Ｓ２１１を処理Ｙ２と実行することにより、処理Ｙは処理Ｘの１／２のフレームレートで実行されることになる。
【００４４】
ここでは、処理Ｙを２つの処理ブロックに分割しているが、３ブロック以上の複数のブロックに分割するようにしてもよい。これにより、処理Ｙのフレームレートがさらに小さくなる。あるいは、処理Ｙは、図４と同様に１つの処理ブロックで実行するが、処理Ｙを実行する間隔を空けるようにしてもよい。
【００４５】
圧縮処理（処理Ｘ）がたとえば３０回／秒のフレームレートで実行されている場合、図４の例では、動き検出処理（処理Ｙ）も３０回／秒のフレームレートで実行されている。これに対して、図５の例では、動き検出処理（処理Ｙ）が１５回／秒のフレームレートで実行されている。この処理Ｙのフレームレートは自由に設定することが可能であり、たとえば処理Ｙを１回／秒などのフレームレートで実行するようにしてもよい。
【００４６】
以上説明したように、本実施の形態においては、画像の動き検出を行う前に画像の縮小処理を実行するので、動き検出処理と画像の圧縮処理をリアルタイムで並行処理した場合にも、ＣＰＵにかける負担を小さくすることが可能である。また、動き検出処理の高速化が図られるので、動き検出処理と圧縮処理との並行処理に関するタイミング調整が容易である。
【００４７】
本実施の形態の動き検出処理を実行する撮像装置１は、ネットワーク経由で監視センタのサーバやハードディスクレコーダなどに画像を送信することで監視システム用途に利用可能である。そして、メモリ３０に格納された動き方向および動きの大きさを示すデータを監視センタのサーバに送信することで、監視センタでは、移動物体の有無を認識することが可能である。監視センタでは、取得した動き方向および動きの大きさのデータから所定の判断基準をもとに警告の必要性の有無を判定し、警告の必要性がある場合には、モニタ上に警告メッセージを表示することや、あるいは音声で警告するなどの処理が実行される。
【００４８】
そして、監視センタに送信される画像データの圧縮処理と、動き検出処理とがリアルタイムで実行されるので、監視センタではリアルタイムによる画像のモニタ出力が行われ、これと並行して、移動物体が確認された場合には、リアルタイムで警告を行うことが可能である。
【００４９】
【発明の効果】
以上説明したように、請求項１または請求項６に記載の発明では、画像を縮小した後、動き検出処理を実行するので、動き検出処理に要する演算量を削減することが可能である。
【００５０】
請求項２記載の発明では、画像センサが出力する画像データに対してリアルタイムで動き検出処理を実行するので、入力画像に対して移動物体をリアルタイムで検出可能である。
【００５１】
請求項３記載の発明では、圧縮処理と動き検出処理をリアルタイムで並行処理するので、画像の蓄積処理を実行しつつ、動き検出処理を実行可能である。
【００５２】
請求項４記載の発明では、デジタルカメラの画像縮小用回路を利用するので、低コストな構成となる。
【００５３】
請求項５記載の発明では、監視システムに応用させた発明であり、撮像画像をリアルタイムでモニタ出力しつつ、移動物体の検出が可能である。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラの機能ブロック図である。
【図２】圧縮処理のフローチャートである。
【図３】動き検出処理のフローチャートである。
【図４】圧縮処理と動き検出処理のタイミングを模式的に表した図である。
【図５】圧縮処理と動き検出処理のタイミングを模式的に表した図である。
【符号の説明】
１    撮像装置
１０  画像センサ
２０  画像処理チップ
２２  ＲＰＵ
２３  圧縮・伸張処理部
２４  ＣＰＵ
３０  メモリ
【図１】
2005012548.tif 000003
【図２】
2005012548.tif 000004
【図３】
2005012548.tif 000005
【図４】
2005012548.tif 000006
【図５】
2005012548.tif 000007