(57)【要約】      （修正有）【課題】車両の走行状態に関する誤検知を従来よりも抑制する画像処理装置および画像処理システムを提供する。【解決手段】本発明に係る画像処理装置１では、道路を監視するカメラ２で撮影された撮影画像を取得する画像取得部１１と、予め作成した道路の背景画像と撮影画像との差分から車両を抽出し、抽出した車両と以前に抽出した車両とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、走行状態を推定する背景差分部１２と、撮影画像および以前にカメラ２で撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する時空間処理部１３と、背景差分部１２で推定した走行状態と時空間処理部１３で推定した走行状態とを比較し、車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部１４とを備えたものである。【選択図】図１
2017102634.tif 000002
【特許請求の範囲】
【請求項１】
道路を監視するカメラで撮影された撮影画像を取得する画像取得部と、
予め作成した前記道路の背景画像と前記撮影画像との差分から車両を抽出し、抽出した前記車両と以前に抽出した前記車両とを少なくとも前記車両の位置情報から対応付け、前記車両の位置変化および速度を求め、走行状態を推定する背景差分部と、
前記撮影画像および以前に前記カメラで撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、前記車両の軌跡および速度を求め、走行状態を推定する時空間処理部と、
前記背景差分部で推定した走行状態と前記時空間処理部で推定した走行状態とを比較し、前記車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部と
を備える画像処理装置。
【請求項２】
前記比較判断部は、前記時空間処理部で車両同士の重なりを前記軌跡から検出した場合において、前記時空間処理部で推定した走行状態に基づき前記注意情報の出力の要否を判断する
請求項１に記載の画像処理装置。
【請求項３】
前記時空間処理部が推定し予め定められた時間範囲に前記道路を通行する車両台数を基準値とし、前記背景差分部での処理に用いるパラメータを修正し、前記時間範囲において前記背景差分部で推定した車両台数と前記基準値との差を縮める修正係数を算出する修正係数算出部を備える
請求項１または請求項２に記載の画像処理装置。
【請求項４】
道路を監視するカメラと、
前記カメラで撮影された撮影画像を取得する画像取得部と、
予め作成した前記道路の背景画像と前記撮影画像との差分から車両を抽出し、抽出した前記車両と以前に抽出した前記車両とを少なくとも前記車両の位置情報から対応付け、前記車両の位置変化および速度を求め、走行状態を推定する背景差分部と、
前記撮影画像および以前に前記カメラで撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、前記車両の軌跡および速度を求め、走行状態を推定する時空間処理部と、
前記背景差分部で推定した走行状態と前記時空間処理部で推定した走行状態とを比較し、前記車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部と
を備える画像処理システム。
【請求項５】
前記比較判断部は、前記時空間処理部で前記車両について他の車両との重なりを前記軌跡から検出した場合において、前記時空間処理部で推定した走行状態に基づき前記注意情報の出力の要否を判断する
請求項４に記載の画像処理システム。
【請求項６】
前記時空間処理部が推定し予め定められた時間範囲に前記道路を通行する車両台数を基準値とし、前記背景差分部での処理に用いるパラメータを修正し、前記時間範囲において前記背景差分部で推定した車両台数と前記基準値との差を縮める修正係数を算出する修正係数算出部を備える
請求項４または請求項５に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を監視するカメラで撮影された画像から、車両の走行状態について注意情報を出力する画像処理装置および画像処理システムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置は、例えば映像を入力する手段と、処理結果を出力するディスプレイに加えて、映像中のある画素領域について背景と予測される時間区間を判定する手段と、移動物体を抽出する手段と、移動体の運動方向や速度の算出を行う手段を備えたものなどが開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２２１５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような画像処理装置にあっては、道路を監視するカメラから取得した画像と予め作成した道路の背景画像との差分から車両を抽出する背景差分と呼ばれる方法で車両の抽出を行っている。しかし、背景差分による画像処理では、例えば車両以外のものを抽出する場合があること、または抽出した車両と以前に抽出した車両との対応付けに失敗することがあり、車両の走行状態について誤検知する場合があった。
【０００５】
本発明は、上述のような問題を解決するためになされたもので、車両の走行状態に関する誤検知を従来よりも抑制する画像処理装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、道路を監視するカメラで撮影された撮影画像を取得する画像取得部と、  予め作成した道路の背景画像と撮影画像との差分から車両を抽出し、抽出した車両と以前に抽出した車両とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、走行状態を推定する背景差分部と、撮影画像および以前にカメラで撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する時空間処理部と、背景差分部で推定した走行状態と時空間処理部で推定した走行状態とを比較し、車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部とを備えたものである。
【０００７】
また、本発明に係る画像処理システムは、道路を監視するカメラと、カメラで撮影された撮影画像を取得する画像取得部と、予め作成した道路の背景画像と撮影画像との差分から車両を抽出し、抽出した車両と以前に抽出した車両とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、走行状態を推定する背景差分部と、撮影画像および以前にカメラで撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する時空間処理部と、背景差分部で推定した走行状態と時空間処理部で推定した走行状態とを比較し、車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部とを備えたものである。
【発明の効果】
【０００８】
本発明に係る画像処理装置および画像処理システムによれば、車両の走行状態に関する誤検知を従来よりも抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る画像処理システムのブロック図である。
【図２】本発明の実施の形態１に係る差分処理部の処理イメージである。
【図３】本発明の実施の形態１に係る時空間処理部の処理イメージである。
【図４】図３に示す車両の軌跡を表す二次元画像である。
【図５】本発明の実施の形態１に係る複数の車両の軌跡を示す例である。
【図６】本発明の実施の形態１に係る画像処理システムのハードウェア構成図である。
【図７】本発明の実施の形態１に係る画像処理システムのフローチャートである。
【図８】本発明の実施の形態１に係る画像処理装置の比較判断部におけるフローチャートである。
【図９】本発明の実施の形態２に係る画像処理システムのブロック図である。
【図１０】本発明の実施の形態２に係る車両の隠蔽発生例を示す撮影画像である。
【図１１】本発明の実施の形態２に係る２台の車両の軌跡を示す図である。
【図１２】図８の撮影画像から背景差分部により抽出した抽出領域を示す画像である。
【図１３】本発明の実施の形態２に係る画像処理システムのフローチャートである。
【図１４】本発明の実施の形態２に係る比較判断部のフローチャートである。
【図１５】本発明の実施の形態２に係る車両の隠蔽発生の有無による比較判断部の判断イメージ図である。
【図１６】背景差分部および時空間処理部により検出した車両検出台数を例示する図である。
【図１７】本発明の実施の形態３に係る画像処理システムのブロック図である。
【図１８】本発明の実施の形態３に係る画像処理システムのフローチャートである。
【図１９】本発明の実施の形態３に係る修正係数算出部のフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
本発明の実施の形態１に係る画像処理システム１０１を図１〜８により説明する。図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは、明細書の全文において共通することである。
【００１１】
図１は本発明の実施の形態１に係る画像処理システム１０１のブロック図である。図１に示すように、本発明の実施の形態１に係る画像処理システム１０１は、道路を監視するカメラ２と画像処理装置１とを有し、道路を走行する車両に例えば停止、低速、渋滞または逆走などの注意情報が発生しているか否かを監視する。注意情報が発生している場合には、画像処理装置１が道路管制センターなどに車両の走行状態について注意情報を出力する。
【００１２】
カメラ２は、道路を走行する車両の画像を例えば１秒間に３０フレーム撮影し、高速道路の道路脇、道路の上方、トンネル内などに主に設けられる。なお、高速道路に限られるものではなく、一般道に設けられていてもよい。
【００１３】
画像処理装置１は、道路を監視するカメラ２により撮影された画像を取得し、後述する処理を行った後に、車両の走行状態について注意情報の出力の要否を道路管制センターなどに出力する。画像処理装置１は、画像取得部１１、背景差分部１２、時空間処理部１３、および比較判断部１４を有する。また、画像処理装置１は、車両の走行状態について注意情報が存在する場合は、道路管制センターなどに車両の走行状態について注意情報を出力し、注意情報が存在しない場合は、注意情報を出力しない。ただし、画像処理装置１は、注意情報が存在しない場合であっても、注意情報が存在しない旨を道路管制センターなどに出力してもよい。
【００１４】
画像取得部１１は、道路を監視するカメラ２により撮影された画像を取得し、取得した画像を背景差分部１２および時空間処理部１３に出力する。
【００１５】
背景差分部１２は、差分処理部２１、車両検出部２２、車両追跡部２３、および第一走行状態判定部２４を有し、予め作成した道路の背景画像と画像取得部１１から取得した画像との差分から車両を抽出する。そして、抽出した車両と以前に抽出した車両（例えば１つ前のフレームで撮影された画像から抽出した車両）とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、車両の走行状態を推定する。
【００１６】
図２を用いて背景差分部１２の処理イメージを説明する。図２は、本発明の実施の形態１に係る差分処理部２１の処理イメージである。図２（ａ）は、トンネル４４内に設けられたカメラ２から取得した撮影画像４１を示し、図２（ｂ）は予め作成した背景画像４２を示している。図２（ｃ）は、差分により抽出した抽出領域５０、５１を示す差分画像４３である。なお、図２（ａ）に映る道路は、左側車線４６と右側車線４７とを有する２車線の道路であり、左側車線４６と右側車線４７は、点線からなる中央の白線４５により区切られている。また、２台の車両４８、４９が左側車線４６を走行している。図２（ｂ）に示す背景画像４２は、移動体である車両４８、４９が存在しない。
【００１７】
差分処理部２１は、画像取得部１１からカメラ２で撮影された撮影画像４１（図２（ａ））を取得する。また、差分処理部２１は、長時間変化がない領域を道路の背景画像４２（図２（ｂ））として予め作成する。なお、差分処理部２１は、背景画像４２として常に同一の画像を用いるのではなく、環境の変化（例えば昼夜の変化）などに追従できるように背景画像４２の更新を行っている。そして、差分処理部２１は、画像取得部１１から取得した撮影画像４１と背景画像４２との差分を取り、画像取得部１１から取得した撮影画像４１において背景画像４２と異なる領域（車両）を抽出する（図２（ｃ））。図２の例では、図２（ｃ）に示すように、２台の車両を含む抽出領域５０、５１が差分として抽出される。
【００１８】
車両検出部２２は、抽出された抽出領域５０、５１が車両４８、４９である否かを検出する。抽出領域５０、５１が車両４８、４９であるか否かの判断は、車両としての特徴を抽出された領域が有しているか否かで判断する。例えば、抽出領域５０、５１が、所定量以上のエッジ成分を含む場合または左右の対称性が閾値以上である場合などは、車両であると判断する。
【００１９】
車両追跡部２３は、現フレームの撮影画像４１から車両検出部２２で車両４８、４９と判断された抽出領域５０、５１と、前フレームの撮影画像（図示せず）から車両検出部２２で車両４８、４９と判断された抽出領域（図示せず）とを対応付け、車両４８、４９の動きを追跡する。
【００２０】
対応付けの手法は、例えば、現フレームの撮影画像４１から抽出した車両４８、４９と前フレームの撮影画像から抽出した車両とを少なくとも車両の位置情報から対応付ける手法がある。具体的には、前フレームにおける車両の位置を基準位置とし、現フレームにおいて基準位置から所定範囲内の車両を同一の車両と判断し対応付ける方法、または、前フレームにおける車両の位置および車両の速度から現フレームにおける車両の位置を予測し、予測された車両位置にある車両を対応付けるなどの方法がある。また、現フレームにおいて基準位置から所定範囲内の車両を同一の車両と判断し対応付ける方法において、対応付けの際には、画像に現れる車両のサイズを考慮して対応付けを行う。
【００２１】
なお、車両追跡部２３は、車両位置・速度算出部２３ａを有している。車両位置・速度算出部２３ａでは、検出した車両４８、４９の車両の位置を求め、さらに、前フレームにおける車両の位置と現フレームにおける車両の位置から車両４８、４９の移動量を求める。そして、１フレームの更新時間と車両４８、４９の移動量から車両速度を算出する。
【００２２】
第一走行状態判定部２４は、車両位置・速度算出部２３ａで計算した車両４８、４９の位置および速度の情報と、後述する図６に示すメモリ８２などに保存された過去の車両４８、４９の位置および速度との情報から、車両４８、４９の走行状態を推定する。車両の走行状態とは、車両が停止、高速、通常速度（法定速度）、低速、加速、減速、渋滞または逆走などの状態であることを指す。例えば、現在を含む一定の時間範囲において、車両４８、４９の速度が予め定められた速度以下の状態が続く場合は、渋滞と判断する。そして、第一走行状態判定部２４は、比較判断部１４に推定した車両の走行状態を出力する。
【００２３】
次に、時空間処理部１３について説明する。時空間処理部１３は、ＤＴＴ法（Ｄｉｒｅｃｔｉｏｎａｌ  Ｔｅｍｐｏｒａｌ  ｐｌａｎｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれる処理を行う。時空間処理部１３は、カメラ２で撮影された撮影画像および以前に前記カメラ２で撮影された撮影画像から、抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する。また、時空間処理部１３は、特徴量抽出部３１、二次元画像生成部３２、車両軌跡検出部３３、および第二走行状態判定部３４を有している。なお、時空間処理部１３の説明において、説明が煩雑になるのを避けるため、背景差分部１２で説明に用いた撮影画像４１とは撮影のタイミングが異なる図３に示す撮影画像５２を用いて説明する。
【００２４】
図３は、本発明の実施の形態１に係る時空間処理部１３の処理イメージである。特徴量抽出部３１は、画像取得部１１からカメラ２で撮影された撮影画像５２を取得し、車両５３に多く含まれる画像のエッジを特徴量として抽出する。
【００２５】
図３（ａ）は、画像取得部１１から取得された現フレームの撮影画像５２であり、図からトンネル内で１台の車両５３が走行していることがわかる。また、図３（ｂ）は、図３（ａ）から抽出したエッジ量および抽出位置を示す。エッジ量の抽出は、通常、車線単位で行われる。つまり、図３（ｂ）は、図３（ａ）の車両５３が進行する左側車線４６において検出されたエッジ量６１を示し、縦軸は車両５３の進行方向を軸としたエッジの抽出位置、横軸は検出されたエッジ量６１を示す。
【００２６】
通常、単なる路面からは、エッジがほとんど抽出されないため、図３（ｂ）に示すように車両５３の位置に相当する部分に、大量のエッジが検出される。図３（ｂ）の破線は、閾値６２を示す。また、図３（ｂ）の両矢印線は、閾値以上のエッジ量の範囲６３を示す。特徴量抽出部３１は、閾値以上のエッジ量の範囲６３と対応する抽出位置が、左側車線４６の車両５３の位置として検出する。
【００２７】
図４は、図３に示す車両５３の軌跡を表す二次元画像７０である。図４に示す二次元画像７０は、二次元画像生成部３２が生成する。縦軸は図３と同様の抽出位置を示し、横軸は時間を示す。図４において、一点鎖線７１は図３の撮影画像５２が撮影された時刻を示し、一点鎖線７１より左側は図３の撮影画像５２が撮影された時刻より前、一点鎖線７１より右側は図３の撮影画像５２が撮影された時刻より後である。また、車両範囲７２は、図３（ｂ）の閾値以上のエッジ量の範囲６３と対応する。
【００２８】
図４において、内部に斜線が描かれた帯状の二次元画像７０は、各時刻において抽出した車両５３の抽出位置（車両範囲）を重ねて描画したものである。ここで、図４は、横軸を時間としており、かつ、時間の進行とともに車両が進行していくため、二次元画像７０が右曲がりの曲線となる。また、車両５３の進行に従って、カメラ２から撮影される車両５３の大きさが小さくなるため、図４の右側では二次元画像７０が細くなっている。
【００２９】
図５は、本発明の実施の形態１に係る複数の車両の軌跡を示す例である。図５より、３本の帯状の二次元画像７０ａ、７０ｂ、７０ｃがある。つまり、図５から３台の車両の通行の軌跡が把握できる。なお、本実施の形態１では、左側車線４６における車両の通行の軌跡を示す二次元画像７０ａ、７０ｂ、７０ｃを二次元画像生成部３２が生成する例を示したが、これに限られず、左側車線４６だけでなく右側車線４７について二次元画像を生成してもよい。さらに、３つ以上の車線を有する道路の場合、任意の車線について二次元画像生成部３２が二次元画像を生成することができる。
【００３０】
車両軌跡検出部３３は、二次元画像生成部３２で生成した二次元画像から車両の軌跡を検出する。例えば、図５の帯状の二次元画像７０ａ、７０ｂ、７０ｃにおいて、帯の左辺（車両の先頭部分に該当）を基準として画像処理をし、車両の軌跡を検出してもよい。ただし、基準とする位置はこれに限られるものではない。
【００３１】
また、車両軌跡検出部３３は、車両位置・速度算出部３３ａを有している。車両位置・速度算出部３３ａでは、生成した二次元画像をもとに、車両の位置および速度を算出する。車両の速度は、例えば速度を求めたい車両と対応する二次元画像を選び、係る二次元画像から異なる時間における基準を同じにした２点を選択する。そして、選択した２点の二次元画像上の位置情報を実際の道路における空間の位置情報に換算した後、車両の移動量と経過時間との関係から容易に車両の速度が算出できる。
【００３２】
第二走行状態判定部３４は、二次元画像から得られる情報（車両位置・速度算出部３３ａで算出する車両の位置および速度の情報を含む）をもとに車両の走行状態を推定する。例えば、現在を含む一定の時間範囲において、車両の速度が予め定められた速度以下の状態が続く場合は、渋滞と判断する。そして、第二走行状態判定部３４は、比較判断部１４に推定した車両の走行状態を出力する。
【００３３】
比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４から出力された車両の走行状態を受け取り、背景差分部１２で推定した走行状態と時空間処理部１３で推定した走行状態とを比較する。比較判断部１４は、車両の走行状態を比較した比較結果に基づき、例えば停止、低速、渋滞または逆走などの注意情報の出力の要否を判断する。なお、注意情報とは、車両の走行状態のうち注意を喚起することが好ましい車両の走行状態、例えば停止、低速、渋滞または逆走などの状態である旨の情報であり、予め定められている。
【００３４】
図６は、本発明の実施の形態１に係る画像処理システム１０１のハードウェア構成図である。画像処理システム１０１は、ハードウェアとして、ＣＣＴＶ（Ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ  Ｔｅｌｅｖｉｓｉｏｎ）等のカメラ２、ＣＰＵ（Ｃｏｎｔｒｏｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ８１、メモリ８２、および映像通信装置８３などを備える。背景差分部１２、時空間処理部１３、および比較判断部１４は、プロセッサ８１がメモリ８２に記憶されたプログラムを実行することにより、動作する。
【００３５】
画像取得部１１は映像通信装置８３であり、カメラ２で撮影された撮影画像を例えばＭＰＥＧ−２等の映像ストリームで受信し、そして受信した映像ストリームをデコードし、映像フレームとしてカメラ２から取得する。また、画像処理装置１から道路管制センターなどに車両の走行状態について注意情報を出力する際に用いる映像通信装置８３は、画像取得部１１の映像通信装置８３を用いてもよく、別途に設けられた映像通信装置であってもよい。また、画像処理装置１とカメラ２は同じ場所にある必要はなく、例えば１ｋｍほど離れた場所にカメラ２が設けられてもよい。
【００３６】
なお、背景差分部１２は、時空間処理部１３より処理が重くなる（プロセッサ８１の負荷が大きい）場合が多い。本発明の実施の形態１に係る画像処理装置１では、画像取得部１１が１秒間に３０フレームの撮影画像をカメラ２から取得し、背景差分部１２および時空間処理部１３が係る撮影画像を取得する例を示した。例えば、処理能力に合わせ背景差分部１２は、画像取得部１１から１秒間に半分の１５フレームの撮影画像を取得するようにしてもよく、画像取得部１１が１秒間に１５フレームの撮影画像をカメラ２から取得するようにしてもよい。
【００３７】
次に図７のフローチャートを用いて、本発明の実施の形態１に係る画像処理システム１０１の処理の説明を行う。図７は、本発明の実施の形態１に係る画像処理システム１０１のフローチャートである。
【００３８】
ここで、図１のブロック図と図７のフローチャートとは対応関係にあり、カメラ２がステップＳＴ１の画像撮影処理を行い、画像取得部１１がステップＳＴ２の画像取得処理を行い、背景差分部１２がステップＳＴ３〜ステップＳＴ６の背景差分処理を行い、時空間処理部１３がステップＳＴ７〜ステップＳＴ１０の時空間処理を行い、および比較判断部１４がステップＳＴ１１の比較判断処理を行う。
【００３９】
また、差分処理部２１がステップＳＴ３の差分処理を行い、車両検出部２２がステップＳＴ４の車両検出処理を行い、車両追跡部２３がステップＳＴ５の車両追跡処理を行い、および第一走行状態判定部がステップＳＴ６の第一走行状態判定処理を行う。さらに、特徴量抽出部３１がステップＳＴ７の特徴量抽出処理を行い、二次元画像生成部３２がステップＳＴ８の二次元画像生成処理を行い、車両軌跡検出部３３がステップＳＴ９の車両軌跡検出処理を行い、および第二走行状態判定部３４がステップＳＴ１０の第二走行状態判定処理を行う。
【００４０】
図１のブロック図で説明した各構成要素の内容と、図７のフローチャートで説明する各処理内容とは基本的に対応しているため、以下ステップＳＴ１〜ステップＳＴ１１の処理内容を簡略して説明する。
【００４１】
ステップＳＴ１において、カメラ２が、道路を走行する車両を撮影する画像撮影処理を行う。ステップＳＴ２において、映像通信装置８３である画像取得部１１が、ステップＳＴ１で撮影された撮影画像をカメラ２から取得し、ステップＳＴ３の差分処理およびステップＳＴ７の特徴量抽出処理のために、取得された撮影画像を差分処理部２１および特徴量抽出部３１に出力する画像取得処理を行う。
【００４２】
ここで、プロセッサ８１が、ステップＳＴ３〜ステップＳＴ６の背景差分処理、ステップＳＴ７〜ステップＳＴ１０の時空間処理、およびステップＳＴ１１の比較判断処理を行う。以下、ステップＳＴ３〜ステップＳＴ１１の処理内容を説明する。
【００４３】
ステップＳＴ３において、差分処理部２１が、ステップＳＴ２の画像取得処理で取得された撮影画像を取得し、取得した撮影画像と背景画像との差分を取り、撮影画像において背景画像と異なる領域（車両）を抽出する差分処理を行う。
【００４４】
ステップＳＴ４において、車両検出部２２が、ステップＳＴ３の差分処理で抽出された抽出領域が車両であるか否かを検出する車両検出処理を行う。抽出領域が車両であるか否かの判断は、車両としての特徴を抽出された領域が有しているか否かで判断する。例えば、抽出領域が、所定量以上のエッジ成分を含む場合または左右の対称性が閾値以上である場合などは、車両であると判断する。
【００４５】
ステップＳＴ５において、車両追跡部２３が、現フレームの撮影画像からステップＳＴ４の車両検出処理で車両と判断された抽出領域と、前フレームの撮影画像から車両検出処理で車両と判断された抽出領域とを対応付け、車両の動きを追跡する車両追跡処理を行う。
【００４６】
また、ステップＳＴ５の車両追跡処理では、車両位置・速度算出部２３ａが車両位置・速度算出処理も行う。車両位置・速度算出部２３ａが、検出した車両の車両位置を求め、さらに、前フレームにおける車両の位置と現フレームにおける車両位置から車両の移動量を求める。そして、車両位置・速度算出部２３ａが、１フレームの更新時間と車両の移動量から車両速度を算出する。
【００４７】
ステップＳＴ６において、第一走行状態判定部２４が、車両位置・速度算出処理で計算した車両の位置および速度の情報と、メモリ８２などに保存された過去の車両の位置および速度との情報から、車両の走行状態を推定する第一走行状態判定処理を行う。そして、第一走行状態判定処理では、第一走行状態判定部２４がステップＳＴ１１の比較判断処理に対し、推定した車両の走行状態を出力する。
【００４８】
ステップＳＴ７において、特徴量抽出部３１が、ステップＳＴ２の画像取得処理で取得した撮影画像を取得し、車両に多く含まれる画像のエッジを特徴量として抽出する特徴量抽出処理を行う。
【００４９】
ステップＳＴ８において、二次元画像生成部３２が、ステップＳＴ７の特徴量抽出処理で抽出した画像のエッジについて、各時刻における抽出した車両の抽出位置を重ねて描画し、帯状の二次元画像を生成する二次元画像生成処理を行う。
【００５０】
ステップＳＴ９において、車両軌跡検出部３３が、ステップＳＴ８の二次元画像生成処理で生成した二次元画像から車両の軌跡を検出する車両軌跡検出処理を行う。
【００５１】
また、ステップＳＴ９の車両軌跡検出部３３では、車両位置・速度算出部３３ａが車両位置・速度算出処理も行う。車両位置・速度算出処理では、生成した二次元画像をもとに、車両の位置および速度を算出する。車両速度は二次元画像から容易に求めることができる。
【００５２】
ステップＳＴ１０において、第二走行状態判定部３４が、ステップＳＴ９の車両軌跡検出処理で二次元画像から得た情報をもとに車両の走行状態を推定する第二走行状態判定処理を行う。そして、第二走行状態判定処理では、第二走行状態判定部３４がステップＳＴ１１の比較判断処理に対し、推定した車両の走行状態を出力する。
【００５３】
ステップＳＴ１１において、比較判断部１４が、ステップＳＴ６の第一走行状態判定処理およびステップＳＴ１０の第二走行状態判定処理から出力された車両の走行状態を受け取り、背景差分処理で推定した走行状態と、時空間処理で推定した走行状態とを比較する比較判断処理を行う。そして、比較判断処理では、比較判断部１４が、車両の走行状態を比較した比較結果に基づき、例えば停止、低速、渋滞または逆走などの注意情報の出力の要否を判断する。
【００５４】
比較判断処理において、比較判断部１４が、車両の走行状態について注意情報の出力を要すると判断した場合は、注意情報を道路管制センターなどに出力し、フローチャートが終了する。一方、比較判断処理において、比較判断部１４が、車両の走行状態について注意情報の出力を要さないと判断した場合は、注意情報を出力せず、フローチャートが終了する。
【００５５】
ここで、ステップＳＴ１１の比較判断処理の詳細を説明する。図８は、本発明の実施の形態１に係る画像処理装置１の比較判断部１４におけるフローチャートである。図８のフローチャートが開始されると、ステップＳＴ１０１において、比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４でそれぞれ推定した車両の走行状態を受信する。
【００５６】
ステップＳＴ１０２において、比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４から受信したそれぞれの走行状態を比較する。比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４より受信した走行状態が同一内容の走行状態であり、かつ、走行状態が注意情報に該当すると比較判断部１４が判断した場合、ステップＳＴ１０３に進む。一方、比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４より受信した走行状態が異なる走行状態である場合、または同一内容の走行状態であるが注意情報に該当しないと判断した場合、フローチャートを終了する。
【００５７】
なお、ステップＳＴ１０２において、比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４から受信したそれぞれの走行状態が注意情報に該当するか否かを先に判断し、判断後の情報を比較してもよい。更にまた、ステップＳＴ１０２において、比較判断部１４は、第一走行状態判定部２４および第二走行状態判定部３４より受信した走行状態が同一内容の走行状態であるかを判定することに替えて、第一走行状態判定部２４および第二走行状態判定部３４より受信した走行状態について、確度の高い側の走行状態を選択する方法、または、第一走行状態判定部２４および第二走行状態判定部３４の一方の判定部のみが有意な情報を出力している場合は、係る有意な情報を採用する等の方法を用いてもよい。走行状態についての確度は、例えば背景差分部１２の車両検出部２２で、抽出画像が車両であるか否かを判断する際に、画像の対称性の一致割合等から求めることができる。
【００５８】
ステップＳＴ１０３において、背景差分部１２および時空間処理部１３で推定した車両の走行状態に基づいてともに同一の注意情報であるとステップＳＴ１０２で判断されたため、比較判断部１４は、注意情報を道路管制センターなどに出力する。ここで、背景差分部１２および時空間処理部１３でそれぞれ独立して推定した車両の走行状態に関して、注意情報が一致しているため、信頼度の高い情報を出力することができる。出力の際には、比較判断部１４がどのような内容の注意情報かを併せて出力する。そして比較判断部１４のフローチャートが終了する。
【００５９】
なお、ステップＳＴ１０３において、比較判断部１４は注意情報を、例えば映像通信装置８３を介して道路管制センターなどに出力する。また、比較判断部１４は、ステップＳＴ１０２において、同一内容の注意情報が生じていない場合に、注意情報なしの旨の出力を行ってもよく、また、場合よっては人による確認を促す旨の出力を行ってもよい。出力内容は、これらの例に限定されない。
【００６０】
本発明の実施の形態１に係る画像処理装置１では、背景差分部１２および時空間処理部１３でそれぞれ推定した走行状態を比較判断部１４へ出力している。背景差分部１２で推定した走行状態に基づき、背景差分部１２がさらに注意情報を推定し、時空間処理部１３で推定した走行状態に基づき、時空間処理部１３がさらに注意情報を推定し、それぞれの注意情報を比較判断部１４に出力する構成としてもよい。この場合、比較判断部１４では、背景差分部１２および時空間処理部１３でそれぞれ推定した注意情報を比較し、比較した比較結果から注意情報の出力の要否を判断してもよい。
【００６１】
以上のとおり、本発明の実施の形態１における画像処理装置１では、道路を監視するカメラ２で撮影された撮影画像を取得する画像取得部１１と、予め作成した道路の背景画像と撮影画像との差分から車両を抽出し、抽出した車両と以前に抽出した車両とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、走行状態を推定する背景差分部１２と、撮影画像および以前にカメラ２で撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する時空間処理部１３と、背景差分部１２で推定した走行状態と時空間処理部１３で推定した走行状態とを比較し、車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部１４とを備える。
【００６２】
また、本発明の実施の形態１における画像処理システム１０１では、道路を監視するカメラ２と、カメラ２で撮影された撮影画像を取得する画像取得部１１と、予め作成した道路の背景画像と撮影画像との差分から車両を抽出し、抽出した車両と以前に抽出した車両とを少なくとも車両の位置情報から対応付け、車両の位置変化および速度を求め、走行状態を推定する背景差分部１２と、撮影画像および以前にカメラ２で撮影された撮影画像から抽出したエッジの量および位置に関する情報に基づき、車両の軌跡および速度を求め、走行状態を推定する時空間処理部１３と、背景差分部１２で推定した走行状態と時空間処理部１３で推定した走行状態とを比較し、車両の走行状態を比較した比較結果に基づいて注意情報の出力の要否を判断する比較判断部１４とを備える。
【００６３】
このような構成によれば、背景差分部１２および時空間処理部１３でそれぞれ独立して推定した車両の走行状態を比較するため、背景差分部１２および時空間処理部１３のいずれか一方で判断した場合より、車両の走行状態について注意情報の出力の要否を判断する精度を向上させることができる。それゆえ、車両の走行状態について誤検知を従来よりも抑制することができる。
【００６４】
例えば、事故等により車両が長時間停止した場合、または渋滞が長く続いた場合などにおいて、差分処理部２１は背景更新を正常に行えない場合がある。また、照明の照度に変動等が発生した場合に、差分処理部２１は、抽出した領域のうち、実際には車両でない領域を車両として抽出する場合がある。抽出された領域は、車両検出部２２において、車両であるか否かを判定し、通常は、車両でないと判定するが、偶然、車両に近い特性がある場合に、誤って車両と判断される場合がある。また、抽出された領域が、恒常的に背景と差分があった場合に、停止した車両と誤って判定される場合もある。このような場合、従来の画像処理装置では、車両の走行状態について誤検知を行う恐れがある。
【００６５】
本発明の実施の形態１に係る画像処理システム１０１では、上述のような場合であっても、背景差分部１２および時空間処理部１３でそれぞれ独立して推定した車両の走行状態を比較するため、車両の走行状態について注意情報の出力の要否を判断する精度を向上させることができる。それゆえ、画像処理装置１による誤検知を従来よりも抑制することができる。
【００６６】
実施の形態２．
本発明の実施の形態２に係る画像処理システム１０１ａを図９〜１５により説明する。本発明の実施の形態２では、車両同士の重なり（先行の車両が後続の車両により隠れる隠蔽）が発生した場合に、隠蔽発生を検出する隠蔽発生部を備える変形例について説明する。以下に実施の形態１と異なる点を中心に説明し、同一または対応する部分についての説明は適宜省略する。
【００６７】
図９は、本発明の実施の形態２に係る画像処理システム１０１ａのブロック図である。図９に示すように、本発明の実施の形態２に係る画像処理システム１０１ａでは、実施の形態１に係る画像処理システム１０１と比較して時空間処理部１３ａが隠蔽発生検出部３５をさらに有している。隠蔽発生検出部３５は、二次元画像生成部３２で生成された二次元画像を元に車両の隠蔽を検出する。
【００６８】
隠蔽発生検出部３５で車両の隠蔽が検出された場合、車両の隠蔽が発生している旨の検出結果を比較判断部１４ａが受け取ると、比較判断部１４ａは、時空間処理部１３ａで推定した車両の走行状態に基づき注意情報の出力の要否を判断する。また、隠蔽発生検出部３５で車両の隠蔽が検出されない場合、比較判断部１４ａは、時空間処理部１３ａで推定した走行状態および背景差分部１２で推定した車両の走行状態に基づき、注意情報の出力の要否を判断する。
【００６９】
ここで、図１０は本発明の実施の形態２に係る車両の隠蔽発生例を示す撮影画像５４である。図１０（ａ）より、左側車線４６を２台の車両５５、５６が走行しており、先行の自動車５５は後続のトラック５６により車両同士が重なり、一部が隠蔽されている。図１０（ｂ）は、図１０（ａ）に示す２台の車両５５、５６を分離して示したものである。
【００７０】
図１１は、本発明の実施の形態２に係る２台の車両５５、５６の軌跡を示す図である。図１１より、内部が斜線の二次元画像７３は図１０の先行の自動車５５の軌跡を表し、内部が水玉模様の二次元画像７４は後続のトラック５６の軌跡を表す。図１１の二次元画像７３、７４から把握できる自動車５５の軌跡とトラック５６の軌跡は、カメラ２のフレーム内に自動車５５が侵入し、その後トラック５６が侵入した次点では、二次元画像７３、７４から得られる軌跡はそれぞれ分離している。つまり、トラック５６による自動車５５の隠蔽は発生していない。しかし、時間の経過とともに二次元画像７３、７４の一部が重なり、先行の自動車５５は後続のトラック５６により隠蔽されたことが把握できる。
【００７１】
図１２は、図１０の撮影画像５４から背景差分部１２により抽出した抽出領域５７を示す画像である。背景差分部１２で抽出される抽出領域５７は、先行にいる自動車５５と後続にいるトラック５６とが重なったまま抽出されている。本来は図１０（ｂ）に示すように２台の別々の車両であるが、自動車５５の一部がトラック５６により隠蔽されているため、図１２の抽出領域５７がどのように区切られるべきかを背景差分部１２で判断することは容易ではない。それゆえ、車両追跡部２３において抽出領域５７から、自動車５５とトラック５６との対応付けを背景差分部１２で正確に行うことが難しく、誤った対応付けを行ってしまう場合がある。
【００７２】
例えば、本発明の実施の形態２のように、自動車５５とトラック５６で構成される２台の車両を誤って１台の車両として背景差分部１２で対応付けを行った場合に、極端な場合には第一走行状態判定部２４で車両が逆走していると判断したり、車両が停止していると判断したりする誤検知が発生することがある。
【００７３】
時空間処理部１３ａは、二次元画像生成部３２で二次元画像７３、７４を生成し、二次元画像７３、７４から得られる軌跡に基づいて車両５５、５６の走行状態を推定する。それゆえ、図１１においても説明したように、車両５５、５６の軌跡を考慮して車両台数の検出を行えるため、時空間処理部１３ａは背景差分部１２より正確な車両台数を検出できる。
【００７４】
本発明の実施の形態２に係る画像処理システム１０１ａにおいて、時空間処理部１３ａの隠蔽発生検出部３５で、自動車５５とトラック５６との車両同士の重なりを軌跡から検出した場合において、比較判断部１４ａは、時空間処理部１３ａで推定した走行状態に基づき注意情報の出力の要否を判断する。車両の対応付けの精度が時空間処理部１３ａよりも高い時空間処理部１３ａにより推定された車両の走行状態に基づいて判断するため、画像処理装置１ａが、車両の走行状態についての注意情報の出力の要否を判断する精度を向上させることができ、画像処理装置１ａの誤検知を抑制することができる。
【００７５】
なお、車両の隠蔽の発生は、カメラ２の設置の角度等の影響を受ける。通常、カメラ２の設置位置を高くし、車両を見下ろすように撮影した場合には、図１０に示すような車両の隠蔽は発生しにくい。しかし、カメラ２の設置位置を高くした場合、カメラ２で監視できる範囲が狭くなってしまう。それゆえ、例えばトンネル内などにカメラ２を設けた場合は、高さに制約があるため、図１０のように後続の車両（トラック５６）により、先行の車両（自動車５５）が隠蔽される場合がある。条件によっては、先行の車両が後続の車両により、ほぼ完全に隠蔽される場合もある。
【００７６】
図１３は、本発明の実施の形態２に係る画像処理システム１０１ａのフローチャートである。図１３の実施の形態２に係る画像処理システム１０１ａのフローチャートと、図７の実施の形態１に係る画像処理システム１０１のフローチャートとは、ステップＳＴ１〜ステップＳＴ１０までが対応し、図１３においてステップＳＴ１２の隠蔽発生検出処理を有する点で相違する。そこで、図１３のステップＳＴ１〜ステップＳＴ１０の説明を省略する。また、図１３のステップＳＴ１１ａは、ＳＴ１２の隠蔽発生検出処理からの信号を受けて判断を行う場合があるため、図７のステップＳＴ１１と相違する。
【００７７】
図１３のステップＳＴ１２において、隠蔽発生検出部３５が、ステップＳＴ８の二次元画像生成処理で生成された二次元画像を元に車両の隠蔽を検出する隠蔽発生検出処理を行う。また、ステップＳＴ１１ａにおいて、比較判断部１４ａが、ステップＳＴ１２の隠蔽発生検出処理で車両の隠蔽が検出され、車両の隠蔽が発生している旨の検出結果を受け取ると、時空間処理部１３ａで推定した走行状態に基づき注意情報の出力の要否を判断する比較判断処理を行う。比較判断処理では、隠蔽発生検出処理で車両の隠蔽が検出されない場合、比較判断部１４ａが、時空間処理部１３ａで推定した走行状態および背景差分部１２で推定した走行状態に基づき、注意情報の出力の要否を判断する。
【００７８】
図１４は、本発明の実施の形態２に係る比較判断部１４ａのフローチャートである。図１４のフローチャートは、図７のステップＳＴ１０１〜ステップＳＴ１０３に加えて、新たにステップＳＴ２０１およびステップＳＴ２０２が追加された場合である。なお、図１４に示すステップＳＴ１０１〜ステップＳＴ１０３は、図７のステップＳＴ１０１〜ステップＳＴ１０３にそれぞれ対応し、同一の内容であるため、説明を省略する。
【００７９】
ステップＳＴ２０１において、比較判断部１４ａは、時空間処理部１３ａの隠蔽発生検出部３５が、二次元画像生成部３２で生成した二次元画像に基づき、車両の軌跡から車両同士の重なりによる隠蔽を検出したか否かの判断を行う。比較判断部１４ａは、隠蔽発生検出部３５で車両同士の重なりによる隠蔽の検出があった場合には、ステップＳＴ２０２に進み、隠蔽発生検出部３５で車両同士の重なりによる隠蔽の検出がなかった場合にはステップＳＴ１０２に進む。
【００８０】
ステップＳＴ２０２では、ステップＳＴ２０１において比較判断部１４ａが、隠蔽発生検出部３５で車両同士の重なりによる隠蔽を検出したと判断しているため、背景差分部１２で推定した車両の走行状態ではなく、時空間処理部１３ａで推定した車両の走行状態を使用して、車両の走行状態について注意情報の出力の要否を判断する。比較判断部１４ａは、時空間処理部１３ａで推定した車両の走行状態に基づき、車両の走行状態に注意情報が存在しないと判断した場合はフローチャートを終了し、車両の走行状態に注意情報があると判断した場合はステップＳＴ１０３に進む。
【００８１】
図１５は、本発明の実施の形態２に係る車両の隠蔽発生の有無による比較判断部１４ａの判断イメージ図である。図１５（ａ）および図１５（ｂ）の横軸は、ともに時間である。図１５（ａ）の縦軸は、時空間処理部１３ａの隠蔽発生検出部３５が隠蔽を検出したか否かを示す。また、図１５（ｂ）の縦軸は、比較判断部１４ａが、時空間処理部で推定した車両の走行状態に基づき注意情報の出力の要否を判断するのか、または背景差分部および時空間処理部で推定した車両の走行状態に基づき注意情報の出力の要否を判断するのか、どちらであるのかを示している。
【００８２】
図１５より、隠蔽発生検出部３５において車両の隠蔽が検出される場合、比較判断部１４ａは、時空間処理部１３ａで推定した車両の走行状態に基づき車両の走行状態の注意情報の出力の要否を判断している。一方、隠蔽発生検出部３５において車両の隠蔽が検出されない場合、比較判断部１４ａは、背景差分部１２および時空間処理部１３ａで推定した車両の走行状態に基づき車両の走行状態の注意情報の出力の要否を判断している。
【００８３】
なお、隠蔽発生検出部３５において車両の隠蔽が検出され、その後、車両の隠蔽が検出されなくなる場合の例として、例えば先行車両がカメラ２のフレームからフレームアウトする場合、または先行車両の速度が後続車両の速度より速い場合に両者の車間距離が離れていく場合などがある。
【００８４】
以上のとおり、本発明の実施の形態２に係る画像処理装置１ａまたは画像処理システム１０１ａによると、比較判断部１４ａは、時空間処理部１３ａで車両同士の重なりを軌跡から検出した場合において、時空間処理部１３ａで推定した走行状態に基づき注意情報の出力の要否を判定する。
【００８５】
このような構成によれば、車両の隠蔽を検出した場合に、背景差分部１２より車両台数の検出精度が高い時空間処理部１３ａを用い、時空間処理部１３ａで推定した車両の走行状態に基づいて判断する。それゆえ、車両の走行状態について注意情報の出力の要否を判断する画像処理装置１ａの判断精度を向上させることができ、誤検知を抑制することができる。
【００８６】
実施の形態３．
本発明の実施の形態３に係る画像処理システム１０１ｂを図１６〜図１９により説明する。本発明の実施の形態３では、背景差分部１２ｂが修正係数算出部３６を備える変形例について説明する。以下に実施の形態１と異なる点を中心に説明し、同一または対応する部分についての説明は適宜省略する。
【００８７】
図１６は、背景差分部１２ｂおよび時空間処理部１３により検出した車両検出台数を例示する図である。図１６の縦軸は車両検出台数であり、横軸は時間である。図１６における一点鎖線９０は、背景差分部１２ｂによる車両検出台数を示し、実線９１は時空間処理部１３による車両検出台数を示す。図１６から、背景差分部１２ｂによる車両検出台数と時空間処理部１３による車両検出台数において、検出台数の差９２が生じていることがわかる。なお、図１６における車両検出台数を示す曲線は、予め定められた時間範囲において道路を走行する車両の総数（例えば１分間に道路を走行する車両の総数）の変動を表す曲線である。
【００８８】
図１７は、本発明の実施の形態３に係る画像処理システム１０１ｂのブロック図である。図１７に示すように、本発明の実施の形態３に係る画像処理システム１０１ｂでは、背景差分部１２ｂが修正係数算出部３６を新たに有している。
【００８９】
修正係数算出部３６は、比較判断部１４から車両台数の推定に必要な情報を取得し、修正係数算出部３６を除く背景差分部１２ｂでの処理に用いるパラメータについて、修正を行う修正係数を算出し差分処理部２１に出力する。予め定められた時間範囲に道路を通行する車両台数について、時空間処理部１３で推定した車両台数を基準値とし、修正係数算出部３６は、予め定められた時間範囲において背景差分部１２ｂで推定した車両台数と基準値との差を縮める修正係数を算出する。なお、時空間処理部１３で推定した車両台数を基準値とする理由は、背景差分部１２ｂが検出する車両台数より時空間処理部１３が推定する車両台数の方が、検出精度が良いためである。
【００９０】
ここで、背景差分部１２ｂにおいて用いるパラメータは種々のものがあるが、例えば差分処理部２１において車両の抽出を行う際に用いるパラメータ、車両検出部２２において差分処理部２１で抽出した領域を車両と見なすか否かの判定の閾値パラメータなどである。例えば、差分処理部２１での車両検出台数が時空間処理部１３での車両検出台数より相対的に少ない場合または多い場合に、修正係数算出部３６は閾値を調整し、基準値に近づく方向に修正する修正係数を算出する。
【００９１】
差分処理部２１は、修正係数算出部３６から修正係数を受け取ると、背景差分部１２ｂ（差分処理部２１、車両検出部２２、車両追跡部２３、および第一走行状態判定部２４）において次回からの処理に修正係数を用いる。
【００９２】
図１８は、本発明の実施の形態３に係る画像処理システム１０１ｂのフローチャートである。図１８の実施の形態３に係る画像処理システム１０１ｂのフローチャートと、図７の実施の形態１に係る画像処理システム１０１のフローチャートとは、ステップＳＴ１、ステップＳＴ２、およびステップＳＴ４〜ステップＳＴ１１までが対応するため、説明を省略する。また、図１８の実施の形態３に係る画像処理システム１０１ｂのフローチャートと、図７の実施の形態１に係る画像処理システム１０１のフローチャートとは、ステップＳＴ１３の修正係数算出処理を有する点で異なるため、以下、簡単に説明を行う。
【００９３】
ステップＳＴ１３において、修正係数算出部３６が、ステップＳＴ１１の比較判断処理から車両台数の推定に必要な情報を取得し、背景差分処理での処理に用いるパラメータについて修正を行う修正係数を算出し、ステップＳＴ３の差分処理に出力する修正係数算出処理を行う。つまり、ステップＳＴ１３の修正係数算出処理では、予め定められた時間範囲に道路を通行する車両台数について、時空間処理で推定した車両台数を基準値とし、予め定められた時間範囲において背景差分処理で推定した車両台数と基準値との差を縮める修正係数を算出する。
【００９４】
そして、ステップＳＴ３において、差分処理部２１が、ステップＳＴ１３の修正係数算出処理で算出した修正係数を受け取ると、背景差分部１２ｂにおいて次回からの背景差分処理に修正係数を用いる。つまり、ステップＳＴ３〜ステップＳＴ６の各ステップにおいて、修正係数算出処理で算出した修正係数が用いられる。
【００９５】
図１９は、本発明の実施の形態３に係る修正係数算出部３６のフローチャートである。図１９に示すようにステップＳＴ３０１において、修正係数算出部３６は、車両台数を推定するために背景差分部１２ｂにおいて必要な情報を取得し、さらに、背景差分部１２ｂおよび時空間処理部１３で推定された車両台数を取得する。車両台数を推定するために背景差分部１２ｂにおける必要な情報を取得する理由は、修正係数算出部３６において修正係数を変更することにより背景差分部１２ｂで推定される車両台数がどのように変化するのかを見積もるためである。
【００９６】
ステップＳＴ３０２において、修正係数算出部３６は、背景差分部１２ｂおよび時空間処理部１３で推定した車両台数が一致または背景差分部１２ｂで推定した車両台数と基準値との差が予め定められた閾値以下であるか否かを判断する。背景差分部１２ｂおよび時空間処理部１３で推定した車両台数が一致または背景差分部１２ｂで推定した車両台数と基準値との差が予め定められた閾値以下である場合は、フローチャートを終了する。背景差分部１２ｂおよび時空間処理部１３で推定した車両台数が一致せず、かつ、背景差分部１２ｂで推定した車両台数と基準値との差が予め定められた閾値を超える場合は、ステップＳＴ３０３に進む。
【００９７】
ステップＳＴ３０３において修正係数算出部３６は、背景差分部１２ｂで推定した車両台数と基準値との差が予め定められた閾値より小さくなるよう、修正係数を変更する。ステップＳＴ３０３において修正係数算出部３６は、ステップＳＴ３０１で取得した背景差分部１２ｂで車両台数の推定に必要な情報から、背景差分部１２ｂで推定した車両台数と基準値との差を縮める修正係数を推定し変更する。ステップＳＴ３０４に進み、修正係数の値を差分処理部２１に出力する。そして、フローチャートを終了する。
【００９８】
なお、修正係数は単一の値として算出してもよく、時間毎の修正係数の値を算出してもよい。また、修正係数を単一の値とする場合に、時間毎の修正係数の値を平均化させて単一の値としてもよい。さらに、修正を行わない場合であっても、修正係数を１として差分処理部２１に出力させてもよい。つまり、背景差分処理に用いるパラメータに対し、１とした修正係数を乗算するようにしてもよい。
【００９９】
なお、修正係数は、背景差分処理の処理に用いるパラメータを選択するためのインデックスであってもよい。つまり、パラメータは、例えば［１０、１００、２００、５００、１０００］というテーブルが予め設定されており、修正係数は係るテーブルからパラメータを選択するためのインデックスであってもよい。加えて、修正係数は、インデックスの差分値であってもよく、修正係数はこれらのものに限られるわけではない。
【０１００】
また、例えば背景差分部１２ｂの車両検出部２２で、抽出画像が車両であるか否かを判断する際に、画像の対称性が閾値以上（例えば対称性が６０％以上）であれば、車両として検出する。この際に、例えば対称性が６０％であれば確度が低く、対称性が１００％であれば確度が高い。修正係数の算出の際に、背景差分部１２ｂにおける判断の確度情報を考慮し、修正係数算出部３６は背景差分部１２ｂにおいて確度の低い処理を優先的に修正するよう修正係数を算出してもよい。
【０１０１】
また、背景差分部１２の車両追跡部２３で追跡した車両の動きを元に、背景差分部１２が二次元画像を作成し、車両台数を推定してもよい。
【０１０２】
以上のとおり、本発明の実施の形態３に係る画像処理システム１０１ｂおよび画像処理装置１ｂによると、時空間処理部１３が推定し予め定められた時間範囲に道路を通行する車両台数を基準値とし、背景差分部１２ｂでの処理に用いるパラメータを修正し、予め定められた時間範囲において背景差分部１２ｂで推定した車両台数と基準値との差を縮める修正係数を算出する修正係数算出部３６を備える。
【０１０３】
このような構成によれば、差分処理部２１において車両の抽出などを行う際に用いるパラメータを自律的に調整することができるため、調整を行う費用および時間を削減することができる。また、背景差分部１２ｂが適切なパラメータを用いて処理を実行できるため、車両の走行状態に関する背景差分部１２ｂの推定精度を向上させることができる。ゆえに、画像処理装置１ｂの車両の走行状態について注意情報の出力の要否を判断する精度を向上させることができ、画像処理装置１ｂの誤検知を抑制することができる。
【０１０４】
なお、本発明は、発明の範囲内において、各実施の形態を自由に組み合わせることや、各実施の形態を適宜、変形、省略することが可能である。
【符号の説明】
【０１０５】
１０１、１０１ａ、１０１ｂ  画像処理システム、１、１ａ、１ｂ  画像処理装置、２  カメラ、１１  画像取得部、１２、１２ｂ  背景差分部、１３、１３ａ  時空間処理部、１４、１４ａ  比較判断部、３６  修正係数算出部
【図１】
2017102634.tif 000003
【図２】
2017102634.tif 000004
【図３】
2017102634.tif 000005
【図４】
2017102634.tif 000006
【図５】
2017102634.tif 000007
【図６】
2017102634.tif 000008
【図７】
2017102634.tif 000009
【図８】
2017102634.tif 000010
【図９】
2017102634.tif 000011
【図１０】
2017102634.tif 000012
【図１１】
2017102634.tif 000013
【図１２】
2017102634.tif 000014
【図１３】
2017102634.tif 000015
【図１４】
2017102634.tif 000016
【図１５】
2017102634.tif 000017
【図１６】
2017102634.tif 000018
【図１７】
2017102634.tif 000019
【図１８】
2017102634.tif 000020
【図１９】
2017102634.tif 000021