(57)【特許請求の範囲】
【請求項１】
対象を見下ろす位置に設置された監視用カメラから得られた撮像画像を画像取込み部によって取り込み、
白線抽出手段によって前記撮像画像から路面に所定長に複数線引きされた白線を抽出し、
車線幅計測手段によって前記白線から車線幅を計測し、
ずれ量算出手段によって、既に記録されている旧画像の車線幅と、前記撮像画像の車線幅を比較することで両画像間の画角のずれ量を算出し、
画像処理部によって、撮像画像のパラメータを前記画角のずれ量に応じて補正し、その補正により画角ずれの影響を取り除くことを特徴とする監視用カメラの画角ずれを調整する方法。
【請求項２】
新たに撮像された画像を時系列方向に積分し、平均化された画像から路面の白線を抽出し、白線から車線幅を計測することを特徴とする請求項１に記載の監視用カメラの画角ずれを調整する方法。
【請求項３】
対象を見下ろす位置に設置された監視用カメラから得られた撮像画像によって取り込む画像取込み部と、
前記撮像画像から路面に所定長に複数線引きされた白線を抽出する、白線抽出手段と、
前記白線から車線幅を計測する車線幅計測手段と、
既に記録されている旧画像の車線幅と、前記撮像画像の車線幅を比較することで両画像間の画角のずれ量を算出するずれ量算出手段と、
撮像画像のパラメータを前記画角のずれ量に応じて補正し、その補正により画角ずれの影響を取り除く画像処理部と、
を備えた監視用カメラの画角ずれ調整装置。
【請求項４】
新たに撮像された画像を時系列方向に積分し、平均化された画像から路面の白線を抽出し、白線から車線幅を計測することを特徴とする請求項３に記載の監視用カメラの画角ずれ調整装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、道路等を走行する自動車等の通行量を画像処理に基づいて計測するカメラの画角ずれを調整する方法と装置、及びその装置を制御するためのプログラムを含む媒体とに関するものである。
【０００２】
【従来の技術】
従来、自動車が走行する路面上を見下ろす位置に設置されたテレビカメラで路面上を撮影し、その画像を一定時間毎に取り込んで画像処理することで、走行している車両を認識し、自動車の通行量および車両走行速度を計測する交通流計測の方法は知られている。この種の交通流計測では、テレビカメラの向き（画角）の誤差は精度に大きく影響するので、一般には許容誤差は０．１〜０．２度の範囲に抑えられている。しかし、大きな揺れ等でカメラ及び台座等が振動すると、その画角に狂いが生じることも少なくない。したがって、従来では、画角に狂いが生じた場合、その都度、テレビカメラが設置されている場所に直接出向いて調整を行っていた。
【０００３】
【発明が解決しようとする課題】
しかし、従来の画角の調整方法では、一般にテレビカメラは遠隔地に設置されているため、現地に出向いて調整を行うのに時間がかかり、リアルタイムな対応が困難であるという問題があった。また、調整作業も、実際の画像を見ながら手動で調整しているため作業が複雑で、復旧までに時間がかかり、コスト増の原因になっているという問題もあった。
【０００４】
本発明はこのような問題を解決するためになされたもので、その目的はカメラの画角がずれたときに、カメラの画角を実際に調整しなくても、その画角ずれの影響をなくして交通流の計測を継続させることができる、監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の監視用カメラの画角ずれを調整する方法は、対象を見下ろす位置に設置された監視用カメラから得られた撮像画像を画像取込み部によって取り込み、白線抽出手段によって前記撮像画像から路面に所定長に複数線引きされた白線を抽出し、車線幅計測手段によって前記白線から車線幅を計測し、ずれ量算出手段によって、既に記録されている旧画像の車線幅と、前記撮像画像の車線幅を比較することで両画像間の画角のずれ量を算出し、画像処理部によって、撮像画像のパラメータを前記画角のずれ量に応じて補正し、その補正により画角ずれの影響を取り除くようにしたものである。これによれば、基準となる旧画像の車線幅と新画像の車線幅とを比較し、その画角のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定し、以後は、監視用カメラからの画像データに対してその補正を加えることにより、監視用カメラにおける画角を実際に調整しなくても画角のずれを擬似的に補正することができる。したがって、カメラの画角がずれたときに、その都度、現場に出向かなくても、その画角ずれが例えば交通流計測等に大きな影響を与えることがないように調整し、復旧させることができ、リアルタイムな対応が可能となる。
【０００６】
本発明の監視用カメラの画角ずれを調整する方法は、新たに撮像された画像を時系列方向に積分し、平均化された画像から路面の白線を抽出し、白線から車線幅を計測するようにしたものである。これによれば、旧画像の車線幅と時系列方向に積分し、平均化された画像から得られた新画像の車線幅で車両の走行状態に影響されない積分画像での画角ずれの補正が可能になる。
【０００７】
本発明の監視用カメラの画角ずれ調整装置は、対象を見下ろす位置に設置された監視用カメラから得られた撮像画像によって取り込む画像取込み部と、前記撮像画像から路面に所定長に複数線引きされた白線を抽出する、白線抽出手段と、前記白線から車線幅を計測する車線幅計測手段と、既に記録されている旧画像の車線幅と、前記撮像画像の車線幅を比較することで両画像間の画角のずれ量を算出するずれ量算出手段と、撮像画像のパラメータを前記画角のずれ量に応じて補正し、その補正により画角ずれの影響を取り除く画像処理部と、を備えた構成としたものである。これによれば、基準となる旧画像の車線幅と新画像の車線幅とを比較し、その画角のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定し、以後は、監視用カメラからの画像データに対してその補正を加えることにより、監視用カメラにおける画角を実際に調整しなくても画角のずれを擬似的に補正することができる。したがって、カメラの画角がずれたときに、その都度、現場に出向かなくても、その画角ずれが例えば交通流計測等に大きな影響を与えることがないように調整し、復旧させることができ、リアルタイムな対応が可能となる。
【０００８】
本発明の監視用カメラの画角ずれ調整装置は、新たに撮像された画像を時系列方向に積分し、平均化された画像から路面の白線を抽出し、白線から車線幅を計測するようにしたものである。これによれば、旧画像の車線幅と時系列方向に積分し、平均化された画像から得られた新画像の車線幅で車両の走行状態に影響されない積分画像での画角ずれの補正が可能になる。
【０００９】
本発明の監視用カメラの画角ずれを調整する方法は、両画像間の画角のずれ量を算出する際、新たに撮影された画像を時系列方向に積分し、平均化された画像のテンプレートと前記旧画像のテンプレートとをマッチングさせるようにしたものである。これによれば、旧画像と新画像で車両の走行状態に影響されない積分画像での画角ずれの補正が可能になる。
【００１０】
本発明の監視用カメラの画角ずれ調整装置は、対象を見下ろす位置に設置された監視用カメラからの撮像画像を取り込む画像処理部と、前記画像処理部より新たに得られた画像と既に記録されている旧画像とを比較して両画像間の画角のずれ量を算出するとともに、その後、新たに得られる撮像画像のパラメータを前記画角のずれ量に応じて補正して前記画角ずれの影響を取り除く画像処理部とを備えた構成としたものである。これによれば、基準となる旧画像と現在の画像である新画像とを比較し、その画角のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定し、以後は、監視用カメラからの画像データに対してその補正を加えることにより、監視用カメラにおける画角を実際に調整しなくても画角のずれを擬似的に補正することができる。したがって、カメラの画角がずれたときに、その都度、現場に出向かなくても、その画角ずれが例えば交通流計測等に大きな影響を与えることがないように調整し、復旧させることができ、リアルタイムな対応が可能となる。
【００１１】
本発明の監視用カメラの画角ずれ調整装置は、監視用カメラから得られた撮像画像を二値化して取り込むようにしたものである。これによれば、画像処理を行なうのにデータ処理或いは比較操作を比較的容易に実行することが可能になる。
【００１２】
本発明の監視用カメラの画角ずれ調整装置は、前記画像処理部に、前記両画像間の画角のずれ量を算出する際に、新たに得られた撮影画像を新テンプレートとして登録し、その新テンプレートと既に登録されている前記旧画像のテンプレートとを含むマッチング範囲を設け、そのマッチング範囲内で一方の前記テンプレートを他方の前記テンプレートに対して所定画素ずづ移動し、この前記画素の移動によりマッチング度合いを算出する手段を設けたものである。これによれば、画像間の差分をとるマッチング方法を使用した画角ずれの算出が行える。
【００１３】
本発明の監視用カメラの画角ずれ調整装置は、前記画像処理部に、旧画像のテンプレートと前記新テンプレートとのマッチングを行う際、対応する画素毎に輝度差を算出してマッチングさせるマッチング手段を設けたものである。これによれば、画像間の差分を輝度差でとるマッチング方法を使用した画角ずれの算出が行える。
【００１４】
本発明の監視用カメラの画角ずれ調整装置は、前記画像処理部に、旧画像のテンプレートと前記新テンプレートとのマッチングを行う際、対応する画素毎の輝度平均を算出して相関値でマッチングさせるマッチング手段を設けたものである。これによれば、画像間相関をとるマッチング方法を使用した画角ずれの算出が行える。
【００１５】
本発明の監視用カメラの画角ずれ調整装置は、前記画像処理部に、新たに撮影された画像を時系列方向に積分し、平均化された画像のテンプレートと前記旧画像のテンプレートとをマッチングさせる手段を設けたものである。これによれば、旧画像と新画像で車両の走行状態に影響されない積分画像での画角ずれの補正が可能になる。
【００１６】
本発明の監視用カメラの画角ずれ調整装置は、対象を見下ろす位置に設置され、かつ、水平及び垂直方向に旋回可能な監視用カメラからの撮像画像を取り込む画像取込み部と、前記監視用カメラが特定の位置に静止された時に、前記画像処理部より新たに得られた撮影画像と既に記録されている旧画像とを比較して両画像間の画角のずれ量を算出し、その後、新たに得られる撮像画像のパラメータを前記画角のずれ量に応じて補正して前記画角ずれの影響を取り除く画像処理部とを備える構成としたものである。これによれば、水平方向及び垂直方向に旋回可能なカメラにおいても適用できる。すなわち、特定の位置に静止されたとき、その位置での画角のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定し、以後は、監視用カメラからの画像データに対してその補正を加えることにより、監視用カメラにおける画角を実際に調整しなくても画角のずれを擬似的に補正することができる。
【００１７】
本発明の記録媒体は、対象を見下ろす位置に設置された監視用カメラから得られた新たな撮像画像を取り込むステップと、その新撮影画像と既に記録されている旧画像とを比較して前記両画像間の画角のずれ量を算出するステップと、新たに得られた撮像画像のパラメータをその画角のずれ量に応じて補正し、その補正により画角ずれの影響を取り除くステップとを、順にコンピュータに実行させるためのプログラムを含む構成としたものである。これによれば、フロッピーディスクあるいはＣＤ−ＲＯＭ等の記録媒体、あるいは通信ネットワークを利用してコンピュータにプログラムを供給し、このプログラムをコンピュータで読み取らせることにより、基準となる旧画像と現在の画像である新画像とを比較して画角のずれ量を算出し、そのずれ量を調整することができる装置を実現させることができる。
【００１８】
【発明の実施の形態】
（実施の形態１）
以下、本発明の第１の実施の形態について、図面を用いて説明する。図１は本発明を適用すべき交通流監視システムにおける系統構成の一例を示すブロック図である。図１において、テレビカメラ１は、自動車２が走行する路面３の上を撮影レンズが見下ろす状態にして支柱４に設置されている。そのテレビカメラ１はＣＣＤカメラであり、撮影された画像データ２１は、画像取込み部１１を介して画像処理装置７内に送られる。
【００１９】
画像処理装置７には、装置全体をコントロールするコンピュータとして構成されている画像処理部（ＣＰＵ）８と、その画像処理部８のプログラムを格納するメモリになるとともに作業メモリとしても機能するメインメモリ９が備えられている。画像処理部８は、メインメモリ９に予め格納されているプログラムを読み取り、そのプログラムの決められた手順に従って装置全体の処理操作を実行する。なお、画像処理部８で読み取り可能な上記プログラムは、画像処理部８に接続されている外部駆動装置１０１を介して読み取られる外部フロッピーディスクやＣＤ−ＲＯＭ等の記録媒体１０２により提供され、あるいは画像処理部８に接続されている通信装置１０３を介してネットワーク等の伝送媒体１０４により提供され、これがメインメモリ９に格納される。
【００２０】
さらに、上記画像処理装置７には、上記プログラムに従って実行される画像処理部８によりコントロールされる上記画像取込み部１１の他に、画像取込み部１１で画像を一定時間毎に取り込んでテープレートとして登録するテンプレート指定手段１２と、既に登録されているテンプレート（旧テンプレートＳ０）と新たに登録されたテンプレート（新テンプレートＳ１）とのパターンマッチングの処理を行うマッチング手段１３と、マッチング手段１３からの信号により各テンプレートＳ０，Ｓ１との間での画像のずれ量を算出するずれ量算出手段１４と、交通流計測に必要なパラメータをずれ量算出手段１４からの信号を利用して設定・変更を行うためのパラメータ補正手段１５と、画像データ２１から監視領域内の車両台数を計測する車両台数計測手段１６と、同じく画像データ２１から監視領域内における車両の走行速度を計測する車両走行速度計測手段１７が設けられている。そして、ずれ量算出手段１４からのずれ量データ２２と、車両台数計測手段１６からの車利用台数データ２３、及び車両走行速度計測手段１７からの走行速度データ２４は、それぞれ出力装置１８に出力される。
【００２１】
このように構成された交通流監視システムでは、図２に示すように、テレビカメラ１で撮影される画像領域１０５内に、例えば５０メートル毎に線引きして複数の計測エリア１０６ａ〜１０６ｆを予め設定しておき、計測エリア情報はメインメモリ内に格納されている。また、各計測エリアを設定すると同時に、画像領域１０５の垂直ライン毎にカメラからの距離情報もメインメモリ９内に格納されている。また、各計測エリア１０６ａ〜１０６ｃを設定したときの画像は「調整用標準テンプレートＳ０」として予めメインメモリ９内に格納されている。なお、その調整用標準テンプレートＳ０は、通常の交通流計測では使用されない。
【００２２】
そして、通常は、テレビカメラ１で撮影して得られた画像データ２１から交通流計測のための画像（以下、これを「交通流計測用画像」という）を一定時間毎に取り込む。そして、交通流計測用画像に映っている自動車の位置及び台数を車両台数計測手段１６及び車両走行速度計測手段１７により検出し、それが車両台数データ２３及び走行速度データ２４として出力装置１８に入力される。その出力装置１８は、データ２３，２４を所定の手順に従って処理し、例えば図示せぬ表示画面上に表示するもので、この処理方法自体は交通流計測として従来から良く知られている方法である。このようにして交通流計測を行う方法では、カメラの向きがずれると画角θもずれ、同時に監視領域（計測エリア１０６ａ〜１０６ｆ）と距離情報もずれてしまう。本発明は、このような交通監視システムにおいて、その画角θに多少（通常、１０画素程度）のずれが生じた場合に、実際のテレビカメラ１の画角θを調整することなく、計測エリア１０６ａ〜１０６ｆと距離情報を平行移動させることによって、その画角θにおけるずれを擬似的に無くして交通流の計測を継続させることができるようにした点に特徴がある。
【００２３】
図３は、画像処理部８によりテレビカメラ１の画角θのずれ量を調整する具体的な手順を示すフローチャートである。そこで、次に図１に示した交通流監視システムにおいて、画角θにずれが生じた場合に、画角θのずれを擬似的に無くし、そのずれによる影響を無くすように調整するための手順を、図３のフローチャートを用いて説明する。この調整では、定期的なメンテナンスや大きな揺れが発生したようなときに、画像補正モードに一時的に切り替えられる（ステップＳＴ１）。画像補正モードに切り替えられると、テレビカメラ１で撮影されている現在の画像データ２１の中から一部の画像領域が指定され、その画像領域が調整用テンプレートＳ１として取り込まれる（ステップＳＴ２）。続いて、予めメインメモリ９に用意されている図４の（ａ）に示す調整用標準テンプレート（旧画角画像）Ｓ０に対して、調整用テンプレート（新画角画像）Ｓ１が重ね合わされ、調整用標準テンプレートＳ０と調整用テンプレートＳ１の両方をカバーするマッチング範囲１１０の領域（エリア）が決定され（ステップＳＴ３）、そのマッチング範囲１１０内でのマッチング処理が行われる。
【００２４】
ここでのマッチング処理では、マッチング範囲１１０内で、調整用標準テンプレート（旧画角画像）Ｓ０に対して調整用テンプレート（新画角画像）Ｓ１を１画素ずつＸまたはＹ方向へ順に移動させ、その１画素づつ移動させたときのデータが順にメインメモリ９に記憶される（ステップＳＴ５）。マッチング範囲１１０内を全て走査（移動）し終わると、そのデータから両テンプレートＳ０，Ｓ１との間のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定する（ステップＳＴ６，ＳＴ７）。以後は、テレビカメラ１からの画像データに対してそのパラメータに応じた補正を加える。ここでは、新たに取り込まれて来る画像が、そのずれ量分だけ平行移動された状態で認識されるように、パラメータを補正する。これにより、テレビカメラ１における画角θを実際に調整しなくても、この画像処理によって擬似的にずれを補正することができる。
【００２５】
上記マッチング処理について、さらに詳述すると、図４の（ａ）は旧画角画像（調整用標準テンプレートＳ０）で、同図（ｂ）は新画角画像（調整用テンプレートＳ１）であり、マッチング処理されるマッチング範囲（エリア）１１０は同図（ｂ）中に二点鎖線で囲まれる部分となる。そして、旧画角画像のテンプレートＳ０と一番一致する点（ｘ，ｙ）を開始点（start）とするエリアが新画角画像中のテンプレートＳ１と最も一致するエリアであり、（startｘ−ｘ，startｙ−ｙ）が旧画角画像Ｓ０と新画角画像Ｓ１のずれ量（Δｘ，Δｙ）である。
【００２６】
また、テンプレートマッチング方法において、２つの画像間のマッチングを行うためには２つの手法、すなわち画像間の差分を取る手法と画像間の差分をとる手法とがある。その各手法について次に説明する。
【００２７】
画像間の差分をとる手法：
図５に示すように、画像サイズＭ×Ｎの対象画像（新画角画像Ｓ１）をＩ（ｍ，ｎ）、テンプレート（旧画角画像Ｓ０）をＴ（ｍ，ｎ）とすると、差分は次式（１）で表すことができる。ここでＩ（ｉ，ｊ）は新画角画像Ｓ１における各画素Ｅの輝度、Ｔ（ｉ，ｊ）は新画角画像Ｓ１における各画素Ｅの輝度であり、各画素Ｅでの輝度差は’Ｔ（ｉ，ｊ）−  Ｔ（ｉ，ｊ）’である。
【００２８】
【数１】
0004801264.tif 000002
【００２９】
すなわち、式（１）では対象画像とテンプレートＳ０，Ｓ１とで対応する画素Ｅごとに輝度差を算出し、全ての画素の輝度差を加えたものである。よって、２つの画素間の違いが大きければ差分値も大きくなり、画素Ｅが一致するものであれば差分値が大きくなり、画像が一致するものであれば差分値は小さくなる。図６は、その関係を示したグラフである。その図６のグラフでは、startｘ、startｘ＋１、startｘ−１、startｘ−２、・・・、startｘ−Δｘと走査したときに得られたテンプレートＳ０，Ｓ１のずれ量（Δｘ，Δｙ）を順にプロットして表したもので、差分値が最少となるところ（startｙ−Δｙ）が最も一致する部分である。したがって、ここでの補正では、その最少となる部分をテンプレートＳ０，Ｓ１が互いに一致している部分としてパラメータを補正することとなる。
【００３０】
画像間の相関をとる方法：
画像間の相関をとる方法を画像間の差分をとる手法と同じ図５を用いて説明すると、画像サイズＭ×Ｎの対象画像（新画角画像Ｓ１）がＩ（ｍ，ｎ）、テンプレート（旧画角画像Ｓ０）がＴ（ｍ，ｎ）とすると、相関は次式（２）で表すことができる。ここで、μiはＩ（ｍ，ｎ）の輝度平均、μTはＴ（ｍ，ｎ）の輝度平均である。
【００３１】
【数２】
0004801264.tif 000003
【００３２】
相関値は、値が大きいほど、２つの画像は一致しており、値が小さければ２つの画像は一致しない。図７はその関係を示したグラフである。図７のグラフでは、startｘ、startｘ＋１、startｘ−１、startｘ−２、・・・、startｘ−Δｘと走査したときに得られた相関値が最大となるところが最も一致する部分である。したがって、ここでの補正では、その最大となる部分をテンプレートＳ０，Ｓ１が互いに一致している部分としてパラメータを補正することとなる。
【００３３】
したがって、このテンプレートマッチング方法では、エリア座標及び距離情報座標に、ずれ量(Δｘ，Δｙ）を加算することによりパラメータを補正でき、以後は、テレビカメラ１からの画像データに対してそのパラメータに応じた補正を加えることにより、テレビカメラ１における画角θを実際に調整しなくても、この画像処理によって擬似的にずれを補正することができることになる。
【００３４】
（実施の形態２）
次に、本発明を適用した第２の実施の形態における交通流監視システムの系統構成を図８を参照して説明する。図８において図１と対応する部材は、図１と同じ符号を付して説明する。図８において、テレビカメラ１は、自動車２が走行する路面３の上を撮影レンズが見下ろす状態にして支柱４に設置されている。そのテレビカメラ１はＣＣＤカメラであり、撮影された画像データ２１は二値化され、画像取込み部１１を介して画像処理装置７内に送られる。
【００３５】
画像処理装置７には、装置全体をコントロールするコンピュータとして構成されている画像処理部８と、その画像処理部８のプログラムを格納するメモリになるとともに作業メモリとしても機能するメインメモリ９が備えられている。画像処理部８は、メインメモリ９に予め格納されているプログラムを読み取り、そのプログラムの決められた手順に従って装置全体の処理操作を実行する。なお、画像処理部８で読み取り可能な上記プログラムは、画像処理部８に接続されている外部駆動装置１０１を介して読み取られる外部フロッピーディスクやＣＤ−ＲＯＭ等の記録媒体１０２により提供され、あるいは画像処理部８に接続されている通信装置１０３を介してネットワーク等の伝送媒体１０４により提供される。そして、その提供され、これがメインメモリ９に格納される。
【００３６】
さらに、上記画像処理装置７には、上記プログラムに従う画像処理部８のもとでコントロールされる上記画像取込み部１１の他に、画像取込み部１１で取り込んだ画像から路面３上の白線１０７を抽出する白線抽出手段２５と、白線抽出手段２５から抽出された白線から車線幅を計測する車線幅計測手段２６と、車線幅計測手段で計測された車線幅と既にメインメモリ９に登録されている基準の画像の車線と比較し、そのずれ量を算出するずれ量算出手段１４と、テレビカメラ１で撮影した画像データ２１から監視領域内の車両台数を計測する車両台数計測手段１６と、同じく画像データ２１から監視領域内における車両の走行速度を計測する車両走行速度計測手段１７が設けられている。そして、ずれ量算出手段１４からはずれ量データ２２、車両台数計測手段１６からは車両台数データ２３、車両走行速度計測手段１７からは走行速度データ２４は、それぞれ出力装置１８に出力される。
【００３７】
このように構成された交通流監視システムでは、図９に示すように、テレビカメラ１で撮影される画像領域１０５内に、例えば２メートル毎に線引きして複数のラインｎを設定しておき、このときの車線幅のデータを図９（ａ）に示す基準データとしてメインメモリ９内に予め用意しておく。そして、画角補正を行うとき、その基準データに図９（ｂ）に示す新たに撮影された車線幅のデータを対応させて車線幅のずれ量を算出する。
【００３８】
さらに図９を用いて詳述すると、車線幅は、それぞれの道路で一定であるが、撮影された画像上ではテレビカメラ１から遠くなるにつれて、車線幅の画素数は小さくなる。よって、画角ずれが起きていない２つの画像において、ｎ走査線目（ライン┗ｎ）の車線幅（画素）を算出したときは同じ値となる。しかし、画角ずれが起きている画像においては、ｎ走査線目の車線幅を算出したとしても、テレビカメラ１からの距離が異なるため、図９（ａ）に示す旧画角画素（基準データ）ではｌ［画素］、同図（ｂ）に示す新画角画像（新たに撮影された画像のデータ）では（ｌ＋Δｌ）［画素］となり、同じ値とはならない。新画角画像上で、車線幅ｌ［画素］となるライン（ｎ＋Δｎ）が旧画角画像上のラインｎと対応し、この場合、画角ずれにより発生したずれ量は垂直方向にΔｎ［画素］となる。また、水平方向のずれ量を算出するには、ライン（ｎ＋Δｎ）での左端（または右端）点を検出し、比較することによりΔｘのずれ量が検出される。
【００３９】
図１０は、本実施の形態２において、画像処理部８によりテレビカメラ１の画角θのずれ量を調整する具体的な手順を示すフローチャートである。そこで、次に図８に示した交通流監視システムにおいて、画角θにずれが生じた場合に、その画角θのずれによる影響を無くすように調整するための手順を、図１０のフローチャートを用いて説明する。この調整では、定期的なメンテナンスや、大きな揺れが発生したようなときに、画像補正モードに一時的に切り替えられる。画像補正モードに切り替えられると、テレビカメラ１で撮影されている新画角画像Ｓ１の画像データ２１を二値化して取り出し、その画像データ２１から白線抽出手段２５により白線１０７を抽出する（ステップＳＴ１１，ＳＴ１２）。続いて、その新画角画像Ｓ１をラインｎから例えば１画素分だけ移動したラインｍの部分を走査し（ステップＳＴ１３）、ｍ走査線目の車線１０７，１０７間の幅（距離）を車線幅計測手段２６により算出する（ステップＳＴ１４）。次に、車線幅計測手段２６により算出された旧画角画像Ｓ０上におけるｎ走査線目の白線１０７，１０７間の幅（距離）と新画角画像Ｓ１上におけるｍ走査線目の白線１０７，１０７間の幅とを比較する（ステップＳＴ１５）。
【００４０】
この比較で、旧画角の画像データＳ０の車線幅よりも新画角の画像データＳ１の車線幅の方が小さい場合は、ラインｍから１画素分戻る方向に移動、すなわち（ｍ＋１）となる方向に移動し（ステップＳＴ１６）、反対に旧画角の画像データＳ０の車線幅よりも新画角の画像データＳ１の車線幅の方が大きい場合は、ラインｍから１画素分戻る方向に移動、すなわち（ｍ−１）となる方向に移動し、旧画角の画像データＳ０の車線幅と新画角の画像データＳ１の車線幅とが等しくなる状態まで、（＋１）または（−１）移動しながら、その動作を繰り返す。そして、旧画角の画像データＳ０の車線幅と新画角の画像データＳ１の車線幅とが等しくなると、ステップＳＴ１８へ移行し、ずれ量算出手段１４によりその移動された量からずれ量Δｌが算出される。そして、本実施の形態では、そのずれ量Δｌを差し引いたライン(ｎ＋Δｎ)の部分の車線幅（ｘ＋Δｘ）が、旧画角の画像データのラインｎにおける画像幅ｌと最も一致する部分である。したがって、ここでの補正では、図９において、旧画角画像のラインｎに新画角画像のライン(ｎ＋Δｎ)が一致するように、パラメータを補正することとなる。
【００４１】
したがって、この実施の形態２における方法では、車線幅のずれ量を算出し、そのずれ量（Δｘ）を加算することによりパラメータを補正でき、以後は、テレビカメラ１からの画像データに対してそのパラメータに応じた補正を加える。ここでは、新たに取り込まれて来る画像が、そのずれ量分だけ平行移動された状態で認識されるように、パラメータを補正する。これにより、テレビカメラ１における画角θを実際に調整しなくても、この画像処理によって擬似的にずれを補正することができる。
【００４２】
なお、上記実施の形態１及び２において、ずれ量を算出する場合の共通の問題点として考えられるのが、画角ずれを補正している途中に、自動車２が進入して旧画角画像（調整用標準テンプレートＳ０）と新画角画像（調整用テンプレートＳ１）との間で明かに違った画像となる場合がある点である。このため、マッチングを行っても正確なずれ量が算出できない場合も生じる。そこで、そのずれ量を算出する別の方法として有効と思われるのが、積分画像を用いた画角ずれ補正である。
【００４３】
この積分画像を用いた画角ずれ補正では、まず図１１の（ａ）に示すように、時間ｔ，（ｔ＋Δｔ１），（ｔ＋Δｔ２），・・・，（ｔ＋Δｔｎ）毎に新画角画像を作成し、時間毎ｔ〜（ｔ＋Δｔｎ）までのｎ枚の画像を積分する。その積分では、図１１の（ｂ）に示すように平均化した画像が作成され、積分化して得られた画像を新画角画像Ｓ１とする。そして、積分化して得られた新画角画像Ｓ１を、上記実施の形態１及び実施の形態２で使用している新画角画像Ｓ１として用い、その後は各実施の形態での補正方法に従って処理することにより、画角ずれの補正を行うことができる。したがって、この積分画像を用いた画角ずれの補正では、画角ずれを補正している途中に自動車２が走行しても、その自動車２が存在したことによる影響は少なくなり、常に画像領域内に存在している特徴点を強く引き出してマッチング処理を行うことができ、正確なずれ量の算出が可能になる。
【００４４】
なお、上記各実施の形態では、テレビカメラ１を固定してある場合について説明したが、例えばテレビカメラ１を３６０度旋回可能な交通流監視装置に適用し、３６０度旋回した後で、固定の領域を再び監視する静止モードに切り替えられたとき、その旋回移動で生じた画角ずれを調整する手段として、本発明を用いても良いものである。また、交通流監視の分野のみでなく人の流れの監視に用いても有効である。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、基準となる旧画像と現在の画像である新画像とを比較し、その画角のずれ量を算出し、そのずれ量に応じて補正すべきパラメータを決定し、以後は、監視用カメラからの画像データに対してその補正を加えることにより、監視用カメラにおける画角を実際に調整しなくても画角のずれを擬似的に補正することができる。したがって、カメラの画角がずれたときに、その都度、現場に出向かなくても、その画角ずれが例えば交通流計測等に大きな影響を与えることがないように調整し、復旧させることができ、リアルタイムな対応が可能となる等、優れた効果が期待できるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態として示す交通監視システムの系統構成の一例を示すブロック図
【図２】本実施の形態１におけるテンプレートの設定方法の説明図
【図３】本実施の形態１における画角調整の具体的な手順を示すフローチャート
【図４】本実施の形態１におけるマッチング方法の一例を示す図
【図５】本実施の形態１において画像間の差分をとるマッチング方法の一例を示す図
【図６】本実施の形態１において画像間の差分をとるマッチング方法で得られる差分値グラフの一例を示す図
【図７】本実施の形態１において画像間の相関をとるマッチング方法で得られる差分値グラフの一例を示す図
【図８】本発明の第２の実施の形態として示す交通監視システムの系統構成の一例を示すブロック図
【図９】本実施の形態２において車線幅計測によるずれ量算出を説明する図
【図１０】本実施の形態２における画角調整の具体的な手順を示すフローチャート
【図１１】本実施の各形態において積分画像での画像ずれを補正する方法を説明する図
【符号の説明】
１  テレビカメラ
２  自動車
３  路面
４  支柱
５  同期モータ
６  操作部
７  画像処理装置
８  画像処理部
９  メインメモリ
１０  画像入力部
１１  画像取込み部
１２  テンプレート指定手段
１３  マッチング手段
１４  ずれ量算出手段
１５  パラメータ補正手段
１６  車両台数計測手段
１７  車両走行速度計測手段
１８  出力装置
２２  ずれ量データ
２３  車両台数データ
２４  走行速度データ
１０１  外部駆動装置
１０２  記録媒体
１０３  通信装置
１０４  伝送媒体
１０５  画像領域
１０６ａ〜１０６ｆ  計測エリア
１０７  白線
１１０  マッチング範囲
Ｓ０  調整用標準テンプレート（旧画角画像）
Ｓ１  調整用テンプレート（新画角画像）
【図１】
0004801264.tif 000004
【図２】
0004801264.tif 000005
【図３】
0004801264.tif 000006
【図４】
0004801264.tif 000007
【図５】
0004801264.tif 000008
【図６】
0004801264.tif 000009
【図７】
0004801264.tif 000010
【図８】
0004801264.tif 000011
【図９】
0004801264.tif 000012
【図１０】
0004801264.tif 000013
【図１１】
0004801264.tif 000014