(57)【特許請求の範囲】
【請求項１】
移動体の認識を行うための認識装置であって、フィールドの走査の始点を規定する同期信号タイミングを外部から任意のタイミングで入力できるカメラと、前記同期信号タイミングを生成する出力タイミングコントローラを有する画像処理装置とからなり、移動体の存在有無検知においては前記同期信号タイミングの間隔を１フィールド分より短い間隔で行い、移動体の認識においては前記同期信号タイミングの間隔を前記移動体の存在有無検知時の間隔よりも長い間隔で行い、前記同期信号タイミングの間隔を可変とすることを特徴とする移動体の認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識システムに係り、特に高速移動体の認識において、最適なタイミングの映像を得るために、好適な認識方法および装置に関する。
【０００２】
【従来の技術】
高速移動体の認識を行う場合、対象となる移動物体の認識に好適な映像を得ることが不可欠である。そのためには、移動物体が認識に好適な位置に来たことを検知する必要がある。従来この検知方法には、例えば特公昭６２−７５８８号公報に記載のようにセンサーで移動体の侵入を検知してから撮像するものや、画像処理装置にて対象となる移動物体が来たかどうかを監視するものとがあるが、ここでは、画像処理装置にて対象となる移動物体が来たかどうかを監視するものに関し説明する。従来の方法では、対象となる移動物体が来たかどうかを監視するタイミングは、使用するカメラの映像信号の仕様により規定されていた。例えばＮＴＳＣ仕様のカメラをノンインターレスにて使用した場合、１分間に６０画面との仕様から、最小で約１６．７ｍｓ  毎に撮像を行いその映像を画像処理し対象となる移動物体が来たかどうかを監視することが可能となる。但し、カメラの撮像可能な全エリアに対し画像処理を行おうとすると、それだけで１６．７ｍｓ  かかってしまい画像処理を行う時間がなくなってしまうためカメラの撮像可能なエリアの最初の方の一部だけ取り込み画像処理を行っていた。
【０００３】
【発明が解決しようとする課題】
前記従来技術では、例えばＮＴＳＣ仕様のカメラをノンインターレスにて使用した場合、最小で約１６．７ｍｓ  間隔でしか撮像することができず、対象となる移動体を検知したあとに、認識用にカメラの撮像可能な全エリアを撮像しても対象となる移動体が高速であった場合１６．７ｍｓ  の間に認識可能な領域を通過してしまうという問題があった。
【０００４】
またその場合、検知に使用した映像を認識に使用しようとしても、検知用の映像はカメラの撮像可能なエリアの一部であるため、認識対象部分が一部しか撮像されていない場合があり、認識ができないという問題があった。
【０００５】
本発明の目的は、従来の方法では認識不可能な高速に移動する移動体に追従できかつ、効率のよい認識方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の目的は、外部からの同期入力を許すカメラに対しカメラの垂直同期間隔をカメラの映像仕様よりも短い間隔で出力するようにし、撮像の最小間隔をカメラの映像仕様よりも短くすることにより、単位時間あたりの監視回数増加および、対象となる移動体を検知してから認識用映像を撮像するまでの間隔の短縮を図り、カメラの全撮像可能エリア撮像用の垂直同期間隔では認識可能な領域を通過してしまう様な高速移動体を認識可能な領域内で撮像可能とすることにより達成される。なお、認識用映像の撮像時はカメラの撮像可能な全エリアを撮像するために、カメラに対する同期出力はカメラ本来の映像仕様にて出力する。
【０００７】
本発明の目的は、カメラからの映像信号をアナログデータからデジタルデータに変換し、そのアナログからデジタルに変換した情報を、ビデオメモリには認識用のエリアを、画像メモリには検知用となる最初の方の一部エリアを保存し、画像メモリに対し対象となる移動体の検知処理を行い、対象となる移動体が検知されたら、ビデオメモリに保存されている認識エリアの情報を画像メモリに転送して認識処理を行うことによっても達成される。
【０００８】
【発明の実施の形態】
本発明によれば、フィールドの走査の始点を規定する垂直同期を外部から入力できるカメラへ出力する同期信号の垂直同期間隔を任意の間隔で出力することを可能としているのでカメラの撮像可能全エリア中最初の方の一部のみ撮像する場合、カメラの全撮像可能エリア撮像用の垂直同期間隔で使用するよりも単位時間あたり多くの映像を撮像することできる。
【０００９】
これによれば、例えば検知エリアがカメラの撮像可能な全エリアの１／３程度であり、カメラへ出力する同期信号の垂直同期間隔をカメラの全撮像可能エリア撮像用の１／２とした場合、カメラの全撮像可能エリア撮像用の垂直同期間隔で使用するよりも単位時間あたり２倍の検知処理を行うことができ、撮像エリア内での移動体の撮像から次の撮像までの間の移動距離も１／２となり、従来の方法よりも２倍の速度の高速移動体への対応が可能となる。
【００１０】
また、本発明によれば、カメラからの映像信号をアナログデータからデジタルデータに変換し、そのアナログからデジタルに変換した情報をビデオメモリと画像メモリへ同時に保存可能あり且つ、画像メモリが保存を途中で打ち切り画像処理を行っている間も引き続きカメラからの映像信号をアナログデータからデジタルデータに変換し、そのアナログからデジタルに変換した情報をビデオメモリに保存することができる。
【００１１】
これによれば、移動体の検知用にカメラの撮像可能全エリア中最初の方の一部のみを画像メモリに保存しながら、同じタイミングで移動体の認識用にカメラの撮像可能全エリアをビデオメモリに保存することが可能であり、移動体が検知されたらビデオメモリに保存してあるカメラの撮像可能全エリアのデータを画像メモリに転送し、認識処理を行うことが可能となり、従来の方法よりも高速移動体への対応能力を向上させることが可能となる。
【００１２】
以下、本発明の実施例を図面を参照して詳細に説明する。
【００１３】
図１は、本発明の画像処理装置の概略の構成図である。画像処理装置１０２は、ＣＰＵやメモリ，Ｉ／Ｏインタフェースなどからなる制御部１０３と、画像処理部１０４からなる。なお、画像処理部１０４は、一つの制御部１０３の下に複数台存在してもよい。次にカメラ１０８の設置について図２を用いて説明する。カメラ１０８は、認識対象となる移動体２０１が撮像エリア２０３の中心もしくはほぼ中心を撮像エリア２０３上方から下方へ通過するように設置する。すなわち認識対象となる移動体２０１に対しカメラの撮像エリアに対する走査始点２０４は移動体の来る方向から始まり、カメラの撮像エリアに対する走査終点２０５は移動体が去っていく方向となるようにカメラ１０８を設置する。
【００１４】
次に同期間隔の可変に関して図４を元に図１，図３を使用しながら詳細に説明する。ここでは例として垂直同期間隔をカメラの全撮像可能エリア撮像用の垂直同期間隔の１／２とする場合について説明する。まず最初に４０１にて出力タイミングコントローラに垂直同期間隔をカメラの全撮像可能エリア撮像用の垂直同期間隔の１／２に設定する。前記設定は、図１の制御部１０３より、信号ライン１０５を通して出力タイミングコントローラ１０６に設定される。出力タイミングコントローラ１０６の図３に示される出力タイミングコントローラ制御部３０１は前記１／２の設定値に対応する水平走査線数をレジスタ３０８に保存する。水平走査線数の算出は図１の制御部１０３にて行う様にしても、図３の出力タイミングコントローラ１０６の制御部３０１にて行う様にしても、あるいは最初からユーザーが水平走査線で指定する様にしてもいずれでもよい。カウンタ３０６は同期発生回路３０３からの同期信号を信号ライン３０４を通して受け取りフィールドの始まりからの水平走査線数をカウントしカウント値を制御部３０９に信号ライン３０５を通して伝える。制御部３０９はカウンタ３０６からの前記カウンタ値とレジスタ３０８に保存された値を比較し、カウンタ３０６からのカウンタ値とレジスタ３０８に保存された値が一致したら制御ライン３０２を通して同期発生回路３０３にカウンタ３０６からのカウンタ値とレジスタ３０８の値が一致したことを通知する。同期発生回路３０３は出力タイミングコントローラ制御部３０１から前記通知を受け取ったら直ちに現在実行中のフィールドの同期信号の出力を中断し次フィールドの出力を開始する。この様にしてカメラ１０８に出力される同期信号は、図４の４０２内で４０４に示される様に垂直同期間隔４０６がカメラの全撮像可能エリア撮像用の同期信号  ４０３の垂直同期間隔４０５に対して１／２となり、カメラ１０８からの映像信号は４０７内の４０９に示される様になる。
【００１５】
次にメモリへの書き込みについて、図１を用いて詳細に説明する。カメラ１０８からの映像信号は信号ライン１０９を通して入力タイミングコントローラ１１４とアナログ／デジタル変換器（以下Ａ／Ｄと示す）１１０に入力される。入力タイミングコントローラ１１４では映像信号から同期信号を分離し、カメラ１０８からの映像信号を画素化するタイミング信号を生成し、信号ライン１１２を通してＡ／Ｄ１１０，ビデオメモリ，データコントローラに伝えられる。Ａ／Ｄ１１０は前記入力タイミングコントローラ１１４からのタイミング信号に従ってカメラ１０８からの映像信号をアナログデータからデジタルデータに変換し信号ライン１１１を通してビデオメモリ１１３およびデータコントローラ１１６に伝えられる。ビデオメモリ１１３は前記Ａ／Ｄ１１０からのデジタル信号の保存を行う。また、データコントローラ１１６は制御部１０３から信号ライン１０５を通して伝えられる設定に従い、
（１）Ａ／Ｄ１１０からのデジタル信号を信号ライン１１９を通して画像メモリ１２０に保存する。
【００１６】
（２）Ａ／Ｄ１１０からのデジタル信号を信号ライン１１９を通して画像メモリ１２０に途中まで保存する。
【００１７】
（３）ビデオメモリ１１３の内容を信号ライン１１５を通して受け取り、信号ライン１１９を通して画像メモリ１２０に保存する。
【００１８】
（４）ビデオメモリ１１３の内容を信号ライン１１５を通して、もしくは画像メモリ１２０の内容を信号ライン１１９を通して、もしくは画像演算部１１８からの情報を信号ライン１１７を通して受け取り、映像出力部１２２へ信号ライン１２１を通して出力する。
【００１９】
（５）ビデオメモリ１１３の内容を信号ライン１１５を通してもしくは画像メモリ１２０の内容を信号ライン１１９を通して受け取り画像演算部１１８へ信号ライン１１７を通して出力する。
【００２０】
（６）画像演算部１１８からの情報を信号ライン１１７を通して受け取り、信号ライン１１９を通して画像メモリ１２０に保存する。
【００２１】
以上（１）〜（６）の動作を行い、（１）と（２）の動作にて請求項２の機能を満足する。
【００２２】
次に、車番認識での実施例の説明に移る。図５〜図９は車番認識システムに適用した例である。図５は、車番認識システムの概略構成図である。カメラ１０８がカメラユニット５０６内に納められ、支柱５０７内の信号ラインを介して画像処理装置５０８に接続されている。カメラ１０８は認識対象車両５０１の移動方向５０３に対し、認識エリア５０５と検知エリア５０４が図５に示す様になるように設置されている。図６を用いて車番認識アルゴリズムについて説明する。アルゴリズムをＳＴＡＲＴ６０１すると、検知エリア５０４の映像取り込み６０２が行われ取り込まれた画像に対する車両検知処理を行い車両検出の判定６０３を行う。前記車両検出判定６０３の結果が未検出となった場合、映像取り込み６０２からの一連の動作が繰り返される。一方車両検出判定６０３の結果、認識対象車両５０１が検出されると認識エリア５０５の映像取り込みが行われ、取り込まれた画像に対する車番認識処理６０４が行われる。前記車番認識処理６０４が終了すると、その結果を元にシステムの処理６０５が行われ、その後処理中止の判定６０６を行い、処理中止の判定６０６の結果が中止ならＥＮＤ６０７となり処理を終了し、処理中止の判定６０６の結果が続行ならば映像取り込み６０２からの一連の動作が繰り返される。
【００２３】
次に、図７を用いて図６のアルゴリズムを用いた動作について説明する。時間軸７０８上にはカメラの全撮像可能エリア撮像用の垂直同期間隔７０７毎に目盛が振ってある。時間は時間軸７０８の矢印方向に経過するものとする。まず図６に示したアルゴリズムがスタートすると検知エリア撮像時間７０１の時間で検知エリア５０４が画像メモリ１２０内に画像メモリ入力画像７０９に示す様に取り込まれる。画像メモリ１２０の画像メモリ入力画像７０９に対して検知処理が検知処理時間７０２の時間で行われる。その結果、認識対象車両５０１が検知されなかったので次の撮像タイミングである検知エリア撮像時間７０３の時間で再び検知エリア５０４が画像メモリ１２０内に画像メモリ入力画像７１０に示す様に取り込まれる。画像メモリ１２０の画像メモリ入力画像７１０に対して検知処理が検知処理時間７０４の時間で行われ、その結果、認識対象車両５０１が検知され次の撮像タイミングである認識エリア撮像時間７０５の時間で認識エリア５０５が画像メモリ１２０内に画像メモリ入力画像７１１に示す様に取り込まれ、認識処理が認識処理時間７０６の時間で行われる。この時、認識対象車両５０１が低・中速車両であった場合は７１２に示すような経過が考えられる。最初の検知処理用の撮像タイミング７１３では、認識対象車両５０１が検知エリア５０４に達していないため車両未検知となる。次の検知処理用の撮像タイミング７１４では、認識対象車両５０１が検知エリア５０４に達しているため車両が検知される。次の認識処理用の撮像タイミング７１５では、認識対象車両５０１のナンバープレート５０２が認識エリア５０５内に存在するので、車番認識が可能となる。しかし、認識対象車両５０１が高速車両であった場合は７１６に示すように、車両検知が行えても、認識処理時用の撮像タイミング７１９には認識対象車両５０１の移動量が大きくナンバープレート５０２が認識エリア５０５内に完全に収まらず車番認識が不可能となってしまう。
【００２４】
次に本発明の同期可変の技術思想を適用した場合について図８を用いて詳細に説明する。前提として
・検知エリア５０４は撮像可能エリアの４０％である。
【００２５】
・検知処理時間はカメラの全撮像可能エリア撮像用の垂直同期間隔の１０％未満である。
【００２６】
・検知エリア５０４撮像時は垂直同期間隔をカメラの全撮像可能エリア撮像用の垂直同期間隔の１／２に設定する。
【００２７】
・認識エリア５０５撮像時は垂直同期間隔をカメラの全撮像可能エリア撮像用の垂直同期間隔に設定する。
【００２８】
との仮定をたてる。まず図６に示したアルゴリズムがスタートすると検知エリア撮像時間８０１の時間で検知エリア５０４が画像メモリ内に画像メモリ入力画像８０７に示す様に取り込まれる。画像メモリ１２０の画像メモリ入力画像８０７に対して検知処理が検知処理時間８０２の時間で行われ、その結果車両が検知されなかったので検知エリア撮像時間８０３の時間で検知エリア５０４が画像メモリ１２０内に画像メモリ入力画像８０８に示す様に取り込まれる。画像メモリ  １２０の内容８１０に対して検知処理が検知処理時間８０４の時間で行われ、その結果車両が検知され次の撮像タイミングである認識エリア撮像時間８０５の時間で認識エリア５０５が画像メモリ１２０内に画像メモリ入力画像８０９に示す様に取り込まれ、認識処理が認識処理時間８０６の時間で行われる。この時、認識対象車両５０１が低・中速車両であった場合は８１０に示すような経過が考えられる。最初の検知処理用の撮像タイミング８１１では、認識対象車両５０１が検知エリア５０４に達していないため車両未検知となる。次の検知処理用の撮像タイミング８１２では、認識対象車両５０１が検知エリア５０４に達しているため車両が検知される。次の認識処理用の撮像タイミング８１３では、認識対象車両５０１のナンバープレート５０２が認識エリア５０５内に存在するので、車番認識が可能となる。認識対象車両５０１が高速車両であった場合でも８１４に示すように、撮像の間隔が１／２になったため、その間の車両の移動量も１／２となり、認識処理時に認識対象車両５０１のナンバープレート５０２が認識エリア５０５内に存在し、従来方式では不可能だった高速車両の車番認識が可能となる。
【００２９】
最後に本発明の請求項２〜３を適用した場合について図９を用いて詳細に説明する。前提として、
・検知エリア撮像時はビデオメモリ１１３と画像メモリ１２０両方にデータを保存する。
【００３０】
・ビデオメモリ１１３には認識エリア５０５のデータを保存する。
【００３１】
・検知エリア５０４分のデータを撮像した時点で画像メモリ１２０への撮像データの保存は中止する。
【００３２】
・検知処理時は検知エリア５０４の最初の方（車の進入してくる方）を実際に車が通過する路面上に換算して約３０ｃｍほどの領域を削除したエリアに対して行う。これは、本発明の方式では検知エリア５０４と認識エリア５０５の撮像が同時に行われる形となるため、ナンバープレート５０２が認識エリア５０５内に進入仕切っていないと言う不具合を防ぐためである。また、適用するシステムにより前記削除幅は変動する。
【００３３】
との仮定をたてる。まず図６に示したアルゴリズムがスタートすると撮像時間  ９０１の時間で検知エリア５０４が画像メモリ１２０内に画像メモリ入力画像  ９０８に示す様に取り込まれると同時に認識エリア５０５がビデオメモリ１１３内にビデオメモリ入力画像９０６示すように取り込まれる。画像メモリ１２０の画像メモリ入力画像９０８に対して検知処理が検知処理時間９０２の時間で行われ、その結果、認識対象車両５０１が検知されなかったので次の撮像タイミングである撮像時間９０３の時間で検知エリア５０４が画像メモリ１２０内に画像メモリ入力画像９０９に示す様に取り込まれると同時に認識エリア５０５がビデオメモリ１１３内にビデオメモリ入力画像９０７示すように取り込まれる。画像メモリ１２０の画像メモリ入力画像９０９に対して検知処理が検知処理時間９０４の時間で行われ、その結果、認識対象車両５０１が検知されるとビデオメモリ  １１３のビデオメモリ入力画像９０７が画像メモリ１２０内に９１２に示す様に転送され、認識処理が９０５の時間で行われる。この時、認識対象車両５０１が低・中速車両であった場合は９１１に示すような経過が考えられる。最初の検知処理用のタイミング９１２では、認識対象車両５０１が検知エリア５０４の削除ライン９１５より下のエリアに達していないため車両未検知となる。次の検知処理用のタイミング９１３では、認識対象車両５０１が検知エリア５０４の削除ライン９１５より下のエリアに達しているため認識対象車両５０１が検知される。次の認識処理用のタイミング９１４では、認識対象車両５０１のナンバープレート５０２が認識エリア５０５内に存在するので、車番認識が可能となる。認識対象車両５０１が高速車両であった場合も９１６に示すように、認識対象車両５０１のナンバープレート５０２が認識エリア５０５内に存在するので、従来方式では不可能だった高速車両の車番認識が可能となる。
【００３４】
【発明の効果】
本発明によれば、カメラの同期信号の垂直同期を任意の間隔に設定可能となるため、例えば垂直同期の周期を１／２以下にすれば移動体の検知処理のための撮像間隔も約１／２となり、移動体の画面上の移動距離も１／２となる効果がある。
【００３５】
さらに、前記効果から従来方式に対して２倍の速度で移動する移動体に追従することが可能となる効果がある。
【００３６】
本発明によれば、移動体の認識において、検知処理のための映像を画像メモリに、認識処理用の映像をビデオメモリに同時に蓄積することが可能となり、検知処理用の映像と認識処理用の映像とのタイムラグをなくす効果がある。
【００３７】
さらに、前記タイムラグがなくなるという効果から、従来方式よりも高速（本実施例の方法では約２倍）で移動する移動体に追従することが可能という効果がある。
【図面の簡単な説明】
【図１】本発明の画像認識システムの構成図の一例。
【図２】本発明の画像認識システムのカメラ設置条件の一例。
【図３】本発明の画像処理装置の出力タイミングコントローラの構成図の一例。
【図４】本発明の請求項１の概略動作の一例を説明するフローチャート。
【図５】本発明の一実施例である車番認識システムの構成図。
【図６】実施例の車番認識システムの概略動作を説明するフローチャート。
【図７】実施例の車番認識システムに従来方式を適用した場合の概略動作を説明する説明図。
【図８】実施例の車番認識システムに本発明の請求項１を適用した場合の概略動作を説明する説明図。
【図９】実施例の車番認識システムに本発明の請求項２〜３を適用した場合の概略動作を説明する説明図。
【符号の説明】
１０１…外部機器、１０２，５０８…画像処理装置、１０３…制御部、１０４…画像処理部、１０５，１０７，１０９，１１１，１１２，１１５，１１７，  １１９，１２１，１２３，３０２，３０４，３０５…信号ライン、１０６…出力タイミングコントローラ、１０８…カメラ、１１０…アナログ／デジタル変換器、１１３…ビデオメモリ、１１４…入力タイミングコントローラ、１１６…データコントローラ、１１８…画像演算部、１２０…画像メモリ、１２２…映像出力部、２００…認識対象移動体、２０２…認識対象移動体移動方向、２０３…撮像エリア、２０４…カメラの撮像エリアに対する走査始点、２０５…カメラの撮像エリアに対する走査終点、３０１…出力タイミングコントローラ制御部、３０３…同期発生回路、３０６…カウンタ、３０７…水晶発振器、３０８…レジスタ、４０８…カメラの全撮像可能エリア撮像用の映像出力信号、５０１…認識対象車両、５０２…ナンバープレート、５０３…移動方向、５０４…検知エリア、５０５…認識エリア、５０６…カメラユニット、５０７…支柱、７０１，７０３，８０１，８０３…検知エリア撮像時間、７０２，７０４，８０２，８０４，９０２，  ９０４…検知処理時間、７０５，８０５…認識エリア撮像時間、７０６，８０６，９０５…認識処理時間、７０７…カメラの全撮像可能エリア撮像用の垂直同期間隔、７０８…時間軸、７０９，７１０，７１１，８０７，８０８，８０９，  ９０８，９０９，９１０…画像メモリ入力画像、９０１，９０３…撮像時間、  ９０６，９０７…ビデオメモリ入力画像、９１５…削除ライン。
【図１】
0003542237.tif 000002
【図２】
0003542237.tif 000003
【図３】
0003542237.tif 000004
【図４】
0003542237.tif 000005
【図５】
0003542237.tif 000006
【図６】
0003542237.tif 000007
【図７】
0003542237.tif 000008
【図８】
0003542237.tif 000009
【図９】
0003542237.tif 000010