(57)【特許請求の範囲】
【請求項１】
高速道路上での通行自動車を背景を含めて撮像タイミング毎に撮像する手段と、撮像した画像の中から通行自動車画像を抽出し、この通行自動車画像からプライバシー部分であるナンバープレート及び乗車人間の映像部位を抽出し、前記抽出した通行自動車画像の中の当該抽出部分の映像の削除又はマスク化を行う処理と、処理された画像を配信用画像として出力する処理を行う画像処理装置と、を備えた自動車通行監視・管理装置。
【請求項２】
高速道路上での通行自動車を背景を含めて撮像タイミング毎に撮像する手段と、撮像した画像中にサーチエリアを設定し、サーチエリア内での初期の通行自動車画像からプライバシー部分であるナンバープレート及び乗車人間の映像部位を抽出し、該抽出された映像の削除又はマスク化を行う処理と、処理された画像をテンプレート画像とし、その後の画面内での移動範囲に沿って変化する当該通行自動車画像に代わってテンプレート画像又はこのテンプレート画像を進行状況に応じて修正した修正画像を配信用画像として出力する処理を行う画像処理装置と、を備えた自動車通行監視・管理装置。
【請求項３】
上記出力処理にあっては、当該自動車の移動は、テンプレート画像に類似する画像を追跡することによって行うものとした請求項２の自動車通行監視・管理装置。
【請求項４】
上記出力処理にあっては、初期のテンプレート画像又はその修正画像に代わって、その後の画面内での当該自動車の移動に応じた撮像画像をテンプレート画像として選択配信する処理を持つものとした請求項２の自動車通行監視・管理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、道路上での交通流を画像として提供する自動車通行監視・管理装置に関する。
【０００２】
【従来の技術】
道路の路上又は路側高所にカメラを設置して、道路上の多車線の交通流を監視や管理しようとする試みがある。カメラで撮像した画像は、監視や管理を行うべきセンタに送られ、交通流の計測に利用されたり、情報提供業者やタクシー会社、運送会社に提供される。走行中の車に搭載されたナビシステムに提供される例もある。
【０００３】
こうした、交通流に関する従来例には、特開平８−２２１５７７号、特開平６−４７９５号がある。特開平８−２２１５７７号は、車と背景との識別を行うことで、移動する車を正確、確実に画像として得ようとする例である。特開平６−４７９５号は、移動する車の画像の２値化を行い、その面積を求め、これから車の渋滞の程度を数値化しようとするものである。
【０００４】
【発明が解決しようとする課題】
交通流の監視や管理は、特開平６−４７９５号にあるように交通流を数値化して行う点に特徴があった。しかし、カメラで撮影した画像をそのまま交通流情報として把握できれば、交通流のリアリティが維持され、監視や管理に役立つ。特開平８−２２１５７７号は、移動する車画像を、背景と区別して、正確・確実に得ようとするものであるが、公益的観点ではなく利益観点の強い従来例である。即ち、正確・確実に移動体を把握しようとする点が目的であって、道路上での交通流ではこうした把握と共に移動する車のプライバシー保護の観点が不可欠であるが、特開平８−２２１５７７号には、このような観点はない。理由は、情報提供業者等の交通流の配信という際の公益性を考慮していないことによる。
【０００５】
本発明の目的は、交通流の映像を画像として提供すると共にその配信画像にプライバシー保護という公益性を持たせて行わせるようにした自動車通行監視・管理装置を得るものである。
【０００６】
【課題を解決するための手段】
本発明は、高速道路上での通行自動車を背景を含めて撮像タイミング毎に撮像する手段と、撮像した画像の中から通行自動車画像を抽出し、この通行自動車画像からプライバシー部分であるナンバープレート及び乗車人間の映像部位を抽出し、前記抽出した通行自動車画像の中の当該抽出部分の映像の削除又はマスク化を行う処理と、処理された画像を配信用画像として出力する処理を行う画像処理装置と、を備えた自動車通行監視・管理装置を開示する。
【０００７】
更に本発明は、高速道路上での通行自動車を背景を含めて撮像タイミング毎に撮像する手段と、撮像した画像中にサーチエリアを設定し、サーチエリア内での初期の通行自動車画像からプライバシー部分であるナンバープレート及び乗車人間の映像部位を抽出し、該抽出された映像の削除又はマスク化を行う処理と、処理された画像をテンプレート画像とし、その後の画面内での移動範囲に沿って変化する当該通行自動車画像に代わってテンプレート画像又はこのテンプレート画像を進行状況に応じて修正した修正画像を配信用画像として出力する処理を行う画像処理装置と、を備えた自動車通行監視・管理装置を開示する。
【０００８】
更に本発明は、上記出力処理にあっては、当該自動車の移動は、テンプレート画像に類似する画像を追跡することによって行うものとした自動車通行監視・管理装置を開示する。
【０００９】
更に本発明は、上記出力処理にあっては、初期のテンプレート画像又はその修正画像に代わって、その後の画面内での当該自動車の移動に応じた撮像画像をテンプレート画像として選択配信する処理を持つものとした自動車通行監視・管理装置を開示する。
【００１２】
【発明の実施の形態】
図３は、本発明の監視・管理システムを示す図である。車道２５の上方又は側方にＴＶカメラ２０を設置し、その撮像画像を画像送信器２１を介して、画像処理装置２２に送る。画像処理装置２２は、センタ又は中継所に設置されており、画像送信器２１からの画像を取り込み、所定の画像を得、これをインターネット等の伝送系２３を通じて配信し、端末としてのディスプレイ装置２４に送り、表示を行う。
画像処理装置２２は、処理３０で、取り込みを行い、処理３１で進入車両の検出を行い、処理３２で次の車両の特徴を抽出し且つプライバシー部分の映像のマスク化や削除を行う。更に、処理３３で編集を行い、処理３４で配信を行う。
【００１３】
図１は、片側３車線の高速道路の固定設置の交通流監視カメラ２０の映像を示す。図１（ａ）は監視カメラを道路側方の高所に設置しての映像例、図１（ｂ）は、監視カメラを道路中央の高所に設置しての映像例を示す。交通流の映像による監視には、図１（ｂ）の例が好ましい。
【００１４】
図１（ｂ）の映像画面は、ある瞬間での撮影画像を示すものであって、各自動車１は、次々にこの映像エリア２に前方から入ってくると共に、次々にこの映像エリア２から手前側へと消えてゆく。映像エリア２内での映像の移動は、画面サイズ、視野、及び移動速度によって定まる。１台の車の映像エリア２内での滞在時間も同様の要因による。処理装置２２内では、映像エリア２内には自動車の移動を追跡するために、図２に示すように上側から定間隔にサーチエリアＳＥ１〜ｎを仮想的に設定してある。これは例えば水平走査線番号を指定することで行う。
【００１５】
映像エリア２の撮像計測タイミングは、交通流を監視可能なタイミングであればよく、正常流では５０ｍ秒〜１００ｍ秒、渋滞流では少なくとも４００ｍ秒程度以上といった計測タイミングとする。従って、１台の移動車の、映像エリア内で得られる計測画像数は、数個〜１０数個程度となる。
【００１６】
処理３１での移動車の検知の仕方を説明する。図１（ｂ）に示すように、画像上方の車が進入してくる上方の１つのサーチエリアをテンプレート画像抽出用のサーチエリアＴＳＥとして設定する。ＳＥ１でもよいが、ＳＥ２かＳＥ３でもよい。サーチエリアＴＳＥ上で、進入してくる移動車を識別する。識別方法は、サーチエリアの縦（ｘ）と横（ｙ）とで、別々に画素値の投影を行うことで投影画素値の大きいエリアを進入車の画像とするやり方をとる。図１（ｃ）が、あるタイミングでのサーチエリアＴＳＥ内での画像例であり、サーチエリアＴＳＥ内の画像をｘ、ｙ軸方向にそれぞれ投影し、図１（ｄ）の如く規定しきい値となる領域である画素領域３を選び、この画素領域３を進入車の切り出し画像領域とする。そして、画素領域３内の画像を進入車画像として識別する。
【００１７】
画素領域３は、投影画素値の中で規定値よりも大きい画素値となる領域を選ぶことで抽出可能であるが、車の特徴を反映した抽出を行うやり方がよい。進入車の前面部は、他の部位に比べて水平縦模様が多い。フロント部の上下の水平エッジ、バンパー部の水平エッジ等があるためによる。そこで、サーチエリアＴＳＥ内でのこうした水平エッジを抽出し、その後でｘ、ｙ軸方向にそれぞれ投影し、規定しきい値との比較を行って、進入車の画素領域３を選択する。
【００１８】
図１（ｂ）で車１１，１２は既に進入済みであって、それ以前の撮像タイミングで、サーチエリアＴＳＥ上で抽出済みである。車１０は進入したばかりの車であり、図１（ｄ）によってその画素領域が検出できたことになる。尚、サーチエリアＴＳＥで抽出失敗しても、次のサーチエリアを新しいＴＳＥとして設定することで抽出するといったやり方をとれば、確実に抽出可能である。
【００１９】
進入車の画素領域の画像から進入車の車両テンプレート画像を抽出する。この抽出処理は、図１（ｄ）で確定した画素領域３の中心座標を求めること、求めた中心座標から縦横所定画素数の画像を映像エリア２から切り出すこと、切り出した画像をテンプレート画像とすること、の処理から成る。切り出し画素数は、例えば、水平（ｘ）３２〜６４画素数、垂直（ｙ）１６画素数程度である。
【００２０】
映像エリア２上では、進入車は、サーチエリアＴＳＥを通り過ぎて前方から手前へと移動し、その過程で、前述したように数回〜１０数回の撮像がなされる。そして、撮像タイミング毎に映像エリア上での撮影位置及び撮像画像の形状が異なる。即ち、撮像タイミングの更新順に、撮影位置は手前側へと移動し、撮影画像の形状は小から大へと変化し、且つ撮影視野角度（迎角）も遠くの視野から近くの視野へと変化する。こうした位置と形状とが変化してゆく移動車に対して、すべての撮像タイミング毎に、前述の方法でテンプレート画像を切り出していたのでは、情報量が膨大となり、処理時間の負担も高くなる。
【００２１】
そこで、映像エリア内での、進入車の動きを映像エリア上で追跡するものとし、同一車に対しては、サーチエリアＴＳＥで得た最初のテンプレート画像をそのまま、その後の撮像タイミングでの画像として利用することにする。これによって画像処理の負担を軽減する。同一車の画像上での追跡処理を図４を利用して以下で説明する。
【００２２】
車の移動は車の最大速度、画像の入力周期（撮像タイミング周期）で定まる。そして、各サーチエリア上を次々に移動する。そこでサーチエリアＳＥ上で、既に切り出した進入車のテンプレート画像と最も類似の高い画像を相関処理を利用して見つける。この時、切り出したテンプレート画像の車の進行方向を予測しておくと、相関すべき対象画像は少なくなる。予測は、車の速度等を考慮して行う。しかし、進路変更もある故に、完全予測はできない。車の進行に伴って撮影画像の形状が変化するからであり、あくまで類似の程度で同一車か否かを判断する。
【００２３】
図４には、１つの車両テンプレート画像の抽出（切出）から配信までの処理をフローチャート形式で示した図である。フローＦ１では、ある時刻ｔｊでの撮像画像から車両テンプレート画像ＴＰｍを抽出する。時刻ｔｊとは、任意であり、ある任意の進入車両の検出が可能な時刻との意味であり、次の時刻ｔｊ＋１では、別の進入車両の検出や上記時刻ｔｊで検出した進入車両のその後の位置を検出したりする処理を行う。従って、時刻ｔｊでも、あるサーチエリアＴＳＥ上で進入車両の検出を行うと同時に、他のサーチエリアＳＥ上で他の車両の移動を追跡したりする。このように、次々に撮像する画像の中から、ＴＳＥでは進入車両の検出、ＴＳＥ以降のＳＥでは既に検出した進入車両の移動追跡を、併行して行うことになる。図４では、こうした前提のもとに、ある１台の進入車両の進入の検出とその後（ｔｊ＋ｉ、但し、ｉ＝１、２、…の任意の値）の移動検出を行う追跡処理を示したものである。
フローＦ２では、抽出した車両テンプレート画像ＴＰｍからプライバシー部分を除去（マスクや削除）した画像ＴＰｍｎを得る。そして画像ＴＰｍｎを送出する。このプライバシー除去の処理については後述する。
フローＦ３では、その後の時刻ｔｊ＋ｉでの撮像画像からテンプレート画像ＴＰｍに類似する画像を見つけ出す（ここで、次のサーチエリアで類似画像が見つかれば、フローＦ３でのｉとはｉ＝１となり、ｉ＝１のサーチエリアではなく、更に次のサーチエリアであれば、ｉ＝２となる。ｉとはこのような意味を持つ）。この見つけ出した画像は、切り出すことなく、先に抽出したテンプレート画像ＴＰｍのプライバシー除去画像ＴＰｍｎを、代わりに送出する。
【００２４】
図５は、進入車両の移動方向を予測し、その予測方向領域に絞って、類似判断をするフローを示す。そのフローがＦ５である。移動予測方向は、車両の向きと移動速度から決定する。
【００２５】
撮像タイミングが更新されるに従って、最初のテンプレート画像と様相の異なった画像が得られる。従って、相関処理では、同一車か否かの判断を得にくい場合がある。こうした場合、テンプレート画像を更新することが必要となる。例えば、更新回数の限界値ｎを定めておき、１〜ｎ回までは最初のテンプレート画像をそのまま撮像画像として利用するやり方、又、相関処理である規定以上の差分が現れた場合、その時点（又は次の時点）での入力画像上で新たなサーチエリアＳＥを設定し、新しいテンプレート画像を選択するやり方等がある。
【００２６】
図６は、車両テンプレート画像を更新するフローチャートを示す。フローＦ８で、その予測方向に類似する車両画像があるか否かチェックする。フローＦ９では規定の類似度Ｒ１とＲ２とを与えておき、Ｒ１とＲ２との間にある車両画像を同一車両と判定し、その時の画像を新しいテンプレート画像ＴＰｍ−１として抽出する。そして、プライバシー部分を除去した画像ＴＰｍｎ−１を得、これを送出する。ここで、Ｒ１は類似の最大限界値、Ｒ２は、同一とみなしうる画像の最大限界値である。従って、Ｒ１以下の車両画像に対しては、元のテンプレート画像を代わって用い、Ｒ２以上の車両画像に対しては、別の車両として認定し、Ｒ１とＲ２との間にある車両画像のみを、同一ではあるが元のテンプレート画像をそのまま利用してはまずく代わりに新しくその時点で抽出したテンプレート画像を用いるとしたのである。
【００２７】
次に処理３２によるテンプレート画像から、プライバシー部分を除去する処理について説明する。テンプレート画像は、車の前面部の撮像画像であり、ナンバプレートや乗車人間の映像が入り込む。これらは、交通流にとっては私的なプライバシーの部分であり、交通流を無差別に第３者が提供する場合、公益性の高い監視・管理となることから、プライバシーの流出は絶対に避けなければならない。そこで、テンプレート画像からナンバプレートや乗車人間の映像を除く画像処理が必要となる。
【００２８】
この処理の代表的なやり方には、テンプレート画像について車体のフレーム部分（外側の枠の画像）のみを抽出するやり方がある。枠の画像とは、いわゆるエッジ画像のことであり、一般的なエッジ抽出処理によって実現できる。他のやり方は、ナンバプレートや乗車人間の映像部位を抽出して、それにマスクをかけるやり方である。
かくして得たフレーム部分のみの画像や一部マスクをかけた部位を持つ画像を配信用の正規のテンプレート画像として高速大容量バッファメモリに一時格納すると共に即座に情報提供業者等に配信する。
【００２９】
この配信される画像は、撮像タイミング毎に得られる画像であり、基本的には、１つのサーチエリアＴＳＥ上では、車線毎に１台の車両ありとみて、３車線であれば、１回のタイミングで最大３台となる。そして、各タイミング毎に得る画像は、処理の中では相関処理によって同一車両として認定しているが、これはテンプレート画像をそのまま利用するためであって、配信される画像にあっては、撮像タイミングが異なる毎に同一車両との認識は全くなく、単に正規のテンプレート画像が次々に送られるだけである。この点は、撮像二次元の面上で交通流をオンラインで撮像検出して、画像配信するという本発明の特徴の１つである。
【００３０】
図７には配信画像例を示す。１つの撮像画像（ある時刻ｔ）で、全部で１０個のテンプレート画像ＴＰｍｎ１〜ＴＰｍ１０（移動中の車両画像についてのテンプレート画像を含む）が得られ、その各位置を維持した二次元状態で画像配信されることになる。但し、送信形式がシリアルかバラレルかは任意である。
【００３１】
他の実施の形態について述べる。
テンプレート画像は、実測した撮像画像から得ているが、車の種別やサイズや形状は、基本的に我国にあっては、陸運局に登録されているものである。そこで、実測した画像に代わって、既に登録してある車について規格テンプレート画像をデータベースとして登録格納しておき、実測した撮像画像で仮テンプレート画像を前記実施例の如きサーチエリア方式で求め、この仮テンプレート画像に最も類似した規格テンプレート画像をデータベースから見つけ出し、それを正規テンプレート画像として配信する。
【００３２】
ここで、仮テンプレート画像を実測画像から求めたが、車に各車の種別やサイズや形状が分かるような標識を付けておき、それを検知することで、規格テンプレート画像を取り出すこともできる。この場合、データベースの検索は、その標識を目印として行うことになる。又、このデータベースには、同一車両に関して、１つの規格テンプレート画像とは限らない。サイズや視野の異なる複数の格納テンプレート画像を格納させておくことも可能である。これによって、同一車両に対して位置や撮影視野の違いによる種々の現実に対応した規格テンプレート画像を見つけ出すことができる利点がある。
【００３３】
更に、前記進入及び追跡及び配信の処理は、１つのＴＶカメラからの映像としたが、数１０ｍ〜数１００ｍ離れた２つの位置にＴＶカメラを設定して、進入、追跡をする例にも適用できる。サーチエリアを設定して利用したが、サーチエリアを特に定めずに検出や追跡する例もある。
【００３４】
配信先や利用の仕方について述べる。以下の如き例がある。
（１）、交通流情報提供業者…交通流は、現状では渋滞度を数値化して提供している。ラジオによる提供、ナビゲーションシステムでの提供等である。しかし、交通流のみを本格的に提供する全国的又は地域的運行監視・管理システムが開発されつつあり、こうした業者に対して、数値化データの他に、実映像に近い車画像が提供できれば、リアルティのある情報提供となり、この業者から先の受け手側でもリアルティのある画像として利用価値が高いものとなる。
（２）、輸送業者…人間を運ぶタクシーやハイヤー業者、物を運ぶ物流業者がある。こうした業者にとっては、交通流をリアルティに把握することは、運行管理にとってとりわけ重要である。
（３）、ディスプレイ…カーナビゲーション用ディスプレイに表示する例、固定設置の地域交通流大型ディスプレイに表示する例、固定設置の景観表示用大型ディスプレイに表示する例、輸送業者の持つ大型画面に表示する例等がある。
（４）、実測画像以外の例…道路交通シュミレーションで車の流れを予測したりすることがある。こうした例に対しても、適用は可能である。
（５）、数値化データの基本データとしての利用例…数値化データを別個に検出しても良いが、上記テンプレート画像から渋滞度等の数値化データを求める例に適用できる。
【００３５】
【発明の効果】
本発明によれば、実測交通流映像を基にして、リアルティがあり、且つ公益性としてのプライバシーの露出のない交通流画像を得ることができた。
【図面の簡単な説明】
【図１】本発明の撮像画像例図及び車両テンプレート画像の抽出例図である。
【図２】サーチエリアＳＥを示す図である。
【図３】本発明の監視・管理システム例図である。
【図４】本発明のフローチャート例図である。
【図５】本発明の他のフローチャート例図である。
【図６】更に他の本発明のフローチャート例図である。
【図７】ある任意の時刻ｔでの撮像画像から得た配信画像例図である。
【符号の説明】
１    自動車（車両）
２  道路
３  抽出領域
ＳＥ  サーチエリア
２０  ＴＶカメラ
２２  データ処理装置
２３  データ伝送系
【図１】
0003605525.tif 000002
【図２】
0003605525.tif 000003
【図３】
0003605525.tif 000004
【図４】
0003605525.tif 000005
【図５】
0003605525.tif 000006
【図６】
0003605525.tif 000007
【図７】
0003605525.tif 000008