(57)【要約】【課題】画像処理に要する時間の増加に伴い、出力映像の更新速度の低下を軽減することを容易とする出力映像の更新方式を提供する。【解決手段】移動物体を検出する画像処理手段を有した画像認識装置において、カメラから入力された映像を画像処理する手段と、入力映像を蓄積する手段と、入力映像のコマ数をカウントする手段と、画像処理完了に合わせてコマカウントを保持する手段と、入力映像の視野サイズ、検出する移動物体の平均移動速度及び処理時間に合わせて映像出力のコマ数を可変する手段と、画像処理結果とカメラ映像を重畳して映像出力する手段とを有し、画像処理時間に応じて、画像処理結果とカメラ入力映像とずれを設定された範囲で最適なコマ数にて出力映像をつくる手段を導入して、画像処理時間に応じた出力コマ数を可変しながら出力映像を更新する。【選択図】図３
2011211345.tif 000002
【特許請求の範囲】
【請求項１】
カメラから入力された映像を画像処理する手段と、入力映像を蓄積する手段と、入力映像のコマ数をカウントする手段と、上記画像処理の終了に合わせてコマカウントを保持する手段と、入力映像の視野サイズ、検出する移動物体の平均移動速度及び処理時間に合わせて映像出力のコマ数を可変する手段と、上記画像処理の結果と蓄積された上記入力映像を重畳して映像出力する手段とを有し、画像処理時間に応じて、上記画像処理の結果と上記カメラから入力された映像とのずれを、設定された範囲で最適なコマ数にて出力映像とする手段を有し、画像処理時間に応じた出力コマ数を可変しながら出力映像を更新することを特徴とする画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラに関わり、特に、撮像された映像から侵入物体を検出する画像認識装置に関する。
【背景技術】
【０００２】
従来の画像認識装置を、図１によって説明する。図１は、従来の画像認識装置の構成を示すブロック図である。１００は画像認識装置、１５０はカメラ、１８０はモニタである。また画像認識装置１００において、１０１はＡＤ（ Analog to Digital ）変換器、１０２はデジタル信号処理プロセッサ（ＤＳＰ：Digital Signal Processor ）、１０３はメモリ、１０４はＤＡ（ Digital to Analog ）変換器である。
図１の画像認識装置１００は、カメラ１５０から入力されるアナログ映像信号Ｖｉをデジタル映像信号に変換するＡＤ変換器１０１、その変換されたデジタル映像信号を画像処理するデジタル信号処理プロセッサ（以下、ＤＳＰと略す）１０２、ＤＳＰ１０２の処理のためのソフトウエアプログラムの保持および信号の一時的記憶のためのメモリ１０３、処理した映像信号をアナロダ映像信号に変換して出力するＤＡ変換器１０４から構成される。出力映像の更新は、ＤＳＰ１０２が処理を完了する度に更新する。
画像認識装置１００から出力された映像信号Ｖｏは、例えば、モニタ１８０に出力され、監視用途の場合には、表示された映像が監視員によって監視される。
【０００３】
図２は、図１の画像認識装置で従来発生するコマ落ちの現象を説明するための図である。図２（ａ）、図２（ｂ）、図２（ｃ）は横軸が共通な時間軸である。図２（ａ）は、カメラ１５０から画像認識装置１００に入力される映像をコマごとに模式的に示した図である。また図２（ｂ）は、画像処理されるコマを模式的に示した図である。また図２（ｃ）は、画像認識装置１００から出力される映像をコマごとに模式的に示した図である。
【０００４】
図２において、時刻ｔ２０にカメラ１５０から画像認識装置１００に１枚目のコマ（コマ２０１）が入力される。以後、２枚目のコマ（コマ２０２）、３枚目のコマ（コマ２０３）、４枚目のコマ（コマ２０４）、５枚目のコマ（コマ２０５）、６枚目のコマ（コマ２０６）、７枚目のコマ（コマ２０７）、８枚目のコマ（コマ２０８）、９枚目のコマ（コマ２０９）、・・・と順番に映像が、カメラ１５０から画像認識装置１００に入力される。
画像認識装置１００にコマ２０１の画像データがコマ２１１として入力され始め、すべてのコマ２１１の画像データが入力を終了する前に、画像認識装置１００は、画像処理を始める（時刻ｔ２１）。画像認識装置１００は、１つのコマの画像認識等の画像処理に約１００［ｍｓ］以上を必要とする（例えば、コマ２１１）。即ち、時刻ｔ２２に、画像処理は始まり、約１００［ｍｓ］以上経過した時刻ｔ２４に処理が終了し、同時刻にコマ２１１の映像がコマ２２１として出力され始める。
【０００５】
コマ２１１の画像処理がほぼ終了する時刻ｔ２３には、次のコマの画像データとしてコマ２１４（コマ２０４）の画像処理が始まる。しかし、この時刻ｔ２３まで入力されていたコマ２０２とコマ２０３の画像データは、コマ２１１の画像処理中であるので、画像処理されていない。
コマ２１４の画像の画像処理が終了し、画像処理されたコマ２１４の画像データがコマ２２４の画像データとして出力されるまで、次のコマの画像処理は実行されない。同様に、時刻ｔ２６には、次のコマの画像データとしてコマ２１７（コマ２０７）の画像処理が始まる。しかし、この時刻ｔ２６まで入力されていたコマ２０８とコマ２０９の画像データは、コマ２１７（コマ２０７）の画像処理中であるので、画像処理されない。
即ち、コマ２１７の画像データの画像処理が終了し、画像処理されたコマ２２７の画像データとして出力されるまで、次のコマの画像処理は実行されない。
つまり、新しいコマ２１４（コマ２０４）が画像処理されてコマ２２４として出力されるまでの間には、コマ２１１の画像データが、コマ２３１、コマ２４１、・・・と繰り返し出力される。同様に、次のコマ２１７の画像データが画像処理されてコマ２２７として出力されるまでの間には、コマ２１４の画像データが、コマ２３４、コマ２４４、・・・と繰り返し出力される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３０９３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の従来技術では、図２に示すように、画像処理に要する時間に応じて、出力映像にコマ落ちが発生することの改善を必要としていた。
特許文献１には、ＡＤ変換器の出力映像信号をフレームメモリに格納し、圧縮処理モジュールへの一定のフレームレートを保持して入力することを目的として、フレームレート制御部でフレーム補間処理をしてコマ落ちを防止する技術が記載されている。
しかし、特許文献１は、リアルタイム録画再生を行うパーソナルコンピュータにおいて、他のアプリケーションを起動したときのリアルタイム処理であって、間引き処理を行うことによって、一定のフレームレートを維持するものであり、コマ落ちの発生を防止するものではない。
本発明は、上記の問題に鑑み、入力された映像の画像処理を実行する画像認識装置において、出力される映像のコマ落ちする量を低減できる画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の画像認識装置は、カメラから入力された映像を画像処理する手段と、入力映像を蓄積する手段と、入力映像のコマ数をカウントする手段と、上記画像処理の終了に合わせてコマカウントを保持する手段と、入力映像の視野サイズ、検出する移動物体の平均移動速度及び処理時間に合わせて映像出力のコマ数を可変する手段と、上記画像処理の結果と蓄積された上記入力映像を重畳して映像出力する手段とを有し、画像処理時間に応じて、上記画像処理の結果と上記カメラから入力された映像とのずれを、設定された範囲で最適なコマ数にて出力映像とする手段を有し、画像処理時間に応じた出力コマ数を可変しながら出力映像を更新するものである。
【発明の効果】
【０００９】
本発明によれば、画像認識装置から出力される映像のコマ落ちする量を低減できた。また、本発明の画像認識装置によれば、枠表示による違和感を軽減しつつ、コマ落ちする量を低減できた。
【図面の簡単な説明】
【００１０】
【図１】従来の画像認識装置の構成を示すブロック図である。
【図２】従来の画像認識装置で発生するコマ落ちの現象を説明するための図である。
【図３】本発明の画像認識装置の一実施例の構成を示すブロック図である。
【図４】本発明の画像認識装置で発生するコマ落ちの現象を説明するための図である。
【図５】本発明の画像認識装置の一実施例で用いられる、予め入力映像の視野サイズおよび検出する移動物体の平均移動速度に対応して登録されたコマ数変換テーブルである。
【発明を実施するための形態】
【００１１】
本発明は、画像処理時間に応じて、画像処理結果とカメラ入力映像とのずれを、設定された範囲で最適なコマ数にて、出力映像として作成する手段を設け、画像処理時間に応じて出力コマ数を可変しながら出力映像を更新することにより、コマ落ちする量を低滅することを可能としている。
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
なお、本書では、既に説明した図１および図２を含め、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、説明を省略する。
【００１２】
本発明の面画像認識装置の一実施形態を、図３、図４および図５を用いて説明する。図３は、本発明の画像認識装置の一実施例の構成を示すブロック図である。また図４は、本発明の図３の画像認識装置で発生するコマ落ちの現象を説明するための図である。また、図５は、本発明の画像認識装置の一実施例で用いられる、予め入力映像の視野サイズおよび検出する移動物体の平均移動速度に対応して登録されたコマ数変換テーブルである。
３０２はＤＳＰ、３０３はメモリ、３０５はコマカウンタ、３０６は蓄積器、３０７は保持器、３０８はコマ数変換器、３０９は重畳器である。
【００１３】
図３の画像認識装置３００において、カメラ１５０から入力されるアナログ映像信号Ｖｉは、ＡＤ変換器１０１に入力される。ＡＤ変換器１０１は、アナログ映像信号Ｖｉをデジタル映像に変換し、変換されたデジタル映像信号を、画像処理するＤＳＰ３０２とコマカウンタ３０５と蓄積器３０６とに出力する。
コマカウンタ３０５は、コマ数をカウントする回路であり、少なくとも、カメラ１５０から入力される映像信号Ｖｉから同期信号を取り出し、同期信号の入力回数をカウントするものである。また、蓄積器３０６は、入力映像を蓄積する回路であり、少なくとも、画像メモリなどで構成される。尚、蓄積器３０６は、コマ数変換器３０８から指示されるコマ数間隔で映像信号を蓄積し、ＤＳＰ３０２の映像信号の出力タイミングに応じて、蓄積した映像信号を出力する。
【００１４】
一方、ＤＳＰ３０２は、従来のＤＳＰ１０２と同様に、ＤＳＰ３０２の処理のためのソフトウエアプログラムの保持および信号の一時的記憶のためのメモリ３０３と相互にアクセスして、従来通りに画像処理を行い、処理が完了する都度、保持器３０７とコマ数変換器３０８と重畳器３０９に信号を出力する。
さらに、ＤＳＰ３０２は、保持器３０７に完了信号を出力し、コマ数変換器３０８に映像出力タイミング信号を出力し、重畳器３０９に移動物体を検出した位置を示す枠情報のみの映像を出力する。
【００１５】
保持器３０７は、ＤＳＰ３０２から入力された完了信号に応じて、コマカウンタ３０５から入力されるコマ数のカウンタ値を保持し、前回の完了信号入力時に保持した値と今回の完了信号入力時に保持した値との差分を算出し、算出した差分値をコマ数変換器３０８に出力する。
コマ数変換器３０８は、予め入力映像の視野サイズおよび検出する移動物体の平均移動速度に対応して登録されたコマ数変換テーブルを参照して、保持器３０７から入力される差分値に応じたコマ数を蓄積器３０６に出力する。また、コマ数変換器３０８は、ＤＳＰ３０２の出力映像信号との同期タイミングパルスを生成し、蓄積器３０６から出力される映像信号のタイミングを調整する。
最後に、重畳器３０８は、ＤＳＰ３０２と蓄積器３０６とから入力される映像信号を重畳して、コマ数変換器３０８から入力される同期タイミングパルスに合わせて、重畳した映像信号をＤＡ変換器１０４に出力する。
ＤＡ変換器１０４は、入力される映像信号を、アナログ映像信号Ｖ０に変換して、画像認識装置３００の出力映像信号として、モニタ１８０等の外部機器に出力する。
【００１６】
次に、本発明の処理構成及び流れを説明することによって、本発明の画像認識装置から出力される映像を説明する。
例えば、画像認識装置３００のコマ数変換器３０８に登録されたテーブルでは、図５に占めす内容であった場合には、保持器３０７から入力される差分値が、０以上で３以下（時間換算では、０［ｍｓ］以上１００［ｍｓ］未満）ではコマ数を１とし、４以上で６以下（時間換算では、１００［ｍｓ］以上２００［ｍｓ］未満）ではコマ数を２とし、７以上で９以下（時間換算では、２００［ｍｓ］以上３００［ｍｓ］未満）ではコマ数を４としている（以下、省略）。
【００１７】
上述のように、入力される映像信号の視野サイズおよび検出する移動物体の平均移動速度に応じて登録されたテーブルが、図５の場合に、図１に示す従来の処理結果の例に適応すると、保持器３６から出力される差分値は３であるから、コマ数は１となり、出力映像は図４のようになる。
図４において、図４（ａ）、図４（ｂ）、図４（ｃ）は横軸が共通な時間軸である。図４（ａ）は、カメラ１５０から画像認識装置３００に入力される映像をコマごとに模式的に示した図である。また図４（ｂ）は、ＤＳＰ３０２にて画像処理され出力されるコマを模式的に示した図である。また図４（ｃ）は、画像認識装置３００から出力される映像をコマごとに模式的に示した図である。
【００１８】
即ち、図４において、時刻ｔ２０にカメラ１５０から画像認識装置３００に１枚目のコマ（コマ２０１）が入力される。以後、２枚目のコマ（コマ２０２）、３枚目のコマ（コマ２０３）、４枚目のコマ（コマ２０４）、５枚目のコマ（コマ２０５）、６枚目のコマ（コマ２０６）、７枚目のコマ（コマ２０７）、８枚目のコマ（コマ２０８）、９枚目のコマ（コマ２０９）、・・・と順番に映像が、カメラ１５０から画像認識装置１００に入力される。
画像認識装置３００にコマ２０１の画像データがコマ２１１として入力され始め、すべてのコマ２１１の画像データが入力を終了する前に、画像認識装置３００のＤＳＰ３０２は、画像処理を始める（時刻ｔ２１）。画像認識装置３００のＤＳＰ３０２は、１つのコマの画像認識等の画像処理に約１００［ｍｓ］以上を必要とする（例えば、コマ２１１）。即ち、時刻ｔ２２に、画像処理は始まり、約１００［ｍｓ］以上経過した時刻ｔ２４に処理が終了し、同時刻にコマ２１１の映像（枠情報）を出力する。
【００１９】
なお、図３でも説明したように、ＤＳＰ３０２は、保持器３０７に完了信号を出力し、コマ数変換器３０８に映像出力タイミング信号を出力すると共に、重畳器３０９に移動物体を検出した位置を示す枠情報のみの映像（コマ２１１）を出力する。以下同様に、ＤＳＰ３０２は、処理後、重畳器３０９に枠情報のみの映像（コマ２１４、コマ２１７）を出力する。従って、重畳器３０９には、画像認識装置３００に入力されるコマ（コマ２０１〜２０９、・・・）すべての枠情報が入力されない。このため、重畳器３０９は、枠情報が入力されないコマ２（コマ４２２）、コマ３（コマ４２３）の枠情報としてコマ１の枠情報（コマ２１１）を重畳して出力する。同様に、重畳器３０９は、枠情報が入力されないコマ５（コマ４２５）、コマ６（コマ４２６）の枠情報としてコマ４の枠情報（コマ２１４）を重畳して出力する。また同様に、重畳器３０９は、枠情報が入力されないコマ８（コマ４２８）、コマ９（コマ４２９）の枠情報としてコマ７の枠情報（コマ２１７）を重畳して出力する。
【００２０】
図４（ｃ）では、従って、コマ２０１の画像処理が開始されると同時刻ｔ２２に、入力された１枚目のコマ２０１の出力（コマ４２１）が出力を開始する。そして、次々と、コマ４２２（コマ２０２）、コマ４２３（コマ２０３）、コマ４２４（コマ２０４）、コマ４２５（コマ２０５）、コマ４２６（コマ２０６）、コマ４２７（コマ２０７）、コマ４２８（コマ２０８）、コマ４２９（コマ２０９）、・・・と出力が続けられる。
【００２１】
即ち、コマ２０１の画像処理がほぼ終了する時刻ｔ２３には、次のコマの画像データとしてコマ２０４の画像処理が開始される。そして、この時刻ｔ２３には、コマ２０１の画像処理が反映された映像信号として、コマ１の画像データ（コマ２０１）に、重畳器３０９で枠情報（コマ２１１）が重畳され、ＤＡ変換器１０４を介して画像認識装置３００から出力される。以降、コマ２（コマ４２２）、コマ３（コマ４２３）が続けて、ＤＡ変換器１０４を介して画像認識装置３００から出力される。即ち、コマ１〜コマ３（コマ２０１〜コマ２０３）に、コマ１の枠情報（コマ２１１）がそれぞれ重畳されてコマ４２１〜コマ４２３として出力される。
同様に、時刻ｔ２６には、次のコマの画像データとしてコマ２０７の画像処理が開始される。そして、この時刻ｔ２６には、コマ２０４の画像処理が反映された映像信号として、コマ４の画像データ（コマ２０４）に、重畳器３０９で枠情報（コマ２１４）が重畳され、ＤＡ変換器１０４を介して画像認識装置３００から出力される。以降、コマ５（コマ４２５）、コマ６（コマ４２３）が続けて、ＤＡ変換器１０４を介して画像認識装置３００から出力される。即ち、コマ４〜コマ６（コマ２０４〜コマ２０６）には、コマ４の枠情報（コマ２１４）がそれぞれ重畳されてコマ４２４〜コマ４２６として出力される。
以下、同様に、時刻ｔ２８には、コマ９（コマ２０９）以降に入力される次のコマの画像データの画像処理が開始される。そして、この時刻ｔ２８には、コマ２０７の画像処理が反映された映像信号として、コマ７の画像データ（コマ２０７）に、重畳器３０９で枠情報（コマ２１７）が重畳され、ＤＡ変換器１０４を介して画像認識装置３００から出力される。以降、コマ８（コマ４２８）、コマ９（コマ４２９）が続けて、ＤＡ変換器１０４を介して画像認識装置３００から出力される。即ち、コマ７〜コマ９（コマ２０７〜コマ２０９）には、コマ７の枠情報（コマ２１７）がそれぞれ重畳されてコマ４２７〜コマ４２９として出力される。
【００２２】
好ましくは、図３の構成において、カメラからの映像信号がデジタル映像信号であれば、ＡＤ変換器は不要である。また好ましくは、画像認識装置は、ＤＡ変換器が無くても良い。
また好ましくは、ＤＳＰ３０２の画像処理結果と、カメラ入力映像信号とのずれを、設定された範囲で最適なコマ数を、蓄積器３０６に蓄積された入力映像信号から供給し、重畳器３０９で補間する。
さらに好ましくは、本発明の画像認識装置は、検出した移動物体に枠を重畳する手段と、カメラ映像と枠を重畳した映像を出力する手段を有する。
【００２３】
好ましくは、上記実施例において、カメラ１５０は、監視視野内に侵入、若しくは監視視野内を移動する移動物体を撮像する監視用カメラであって、本発明の画像新式装置は、上記監視用カメラによって撮像された映像を画像処理して侵入物体若しくは移動物体を検出する画像認識装置である。また好ましくは、本発明の画像認識装置は、検出された侵入物体若しくは移動物体の画像処理結果とカメラ入力映像とのずれに応じて、撮像された映像のコマ数を可変する画像認識装置である。
【００２４】
上記実施例によれば、画像認識装置から出力される映像が、枠表示による違和感を軽減しつつ、コマ落ちする量を低減できた。
【符号の説明】
【００２５】
１００：画像認識装置、  １５０：カメラ、  １８０：モニタ、  １０１：ＡＤ変換器、  １０２：デジタル信号処理プロセッサ（ＤＳＰ：Digital Signal Processor ）、  １０３：メモリ、  １０４：ＤＡ変換器、  ２０１〜２０９、２１１、２１４、２１７、２２１、２２４、２２７、２３１、２３４、２３７、２４１、２４４、２４７：コマ、  ３０２：ＤＳＰ、  ３０３：メモリ、  ３０５：コマカウンタ、  ３０６：蓄積器、  ３０７：保持器、  ３０８：コマ数変換器、  ３０９：重畳器、  ４２１〜４２９：コマ。
【図１】
2011211345.tif 000003
【図２】
2011211345.tif 000004
【図３】
2011211345.tif 000005
【図４】
2011211345.tif 000006
【図５】
2011211345.tif 000007