(57)【要約】【課題】撮像画像に写る移動体の影部を効果的に除去し、移動体を種類別に正しく検出することを可能とする画像処理装置及び画像処理方法を提供する。【解決手段】遠赤外線波長帯にて撮像する第１撮像装置から取得される画像データと、可視光波長帯又は近赤外線波長帯にて撮像する第２撮像装置から同時的に取得される画像データとで夫々背景差分等により差分を求め、移動体が写っている移動体領域の候補として抽出する。夫々の差分を合成して得られる差分の重複領域を真の移動体領域とする。【選択図】図５
2009301494.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に基づいて移動体を検出するための画像処理を行なう画像処理装置において、
遠赤外線波長帯にて撮像する第１撮像手段と、
該第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段と、
前記第１及び第２撮像手段が同時的に撮像した撮像画像から夫々、移動体が写っている移動体領域の候補を抽出する抽出手段と、
該抽出手段が抽出した夫々の候補の重複部分を、移動体領域と特定する特定手段と、
該特定手段が特定した移動体領域の特徴量に基づき移動体を検出する手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１及び第２撮像手段は、略平面をなす背景面を含む範囲を撮像するようにしてあり、
撮像画像中における複数の異なる位置に対応付けて、各位置に物体が写る領域がある場合の前記背景面上の所定位置から前記物体までの実空間における距離を記憶しておく第１の記憶手段と、
前記特定手段が特定した移動体領域の撮像画像中における位置を求める手段と、
求めた位置に対応付けてある距離に基づき、前記所定位置から移動体までの実空間における距離を特定する距離特定手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
移動体の種類、前記所定位置からの距離、及び移動体領域が撮像画像中で占めるべき領域の縦横の大きさの対応関係を記憶しておく第２の記憶手段と、
前記距離特定手段が特定した移動体までの距離、及び前記特定手段が特定した移動体領域の縦横の大きさに基づき、移動体の種類を識別する識別手段と
を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１及び第２撮像手段は交差点を俯瞰するように設置されており、
前記１の記憶手段は、前記第１及び第２撮像手段の路面からの高さ及び俯角に基づき、撮像画像中における物体の領域の位置と、実空間における交差点中の所定位置から前記物体までの距離とが対応付けて記憶するようにしてあり、
前記第２の記憶手段は、距離に対応付けて移動体領域が撮像画像中で占めるべき縦横の大きさを記憶するようにしてあり、更に、
前記識別手段は、前記第１及び第２の記憶手段により記憶してある位置と距離との対応付け、及び縦横の大きさに基づき、移動体の種類を識別するようにしてあること
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１及び第２撮像手段の撮像範囲を、前記第１及び第２撮像手段とは異なる角度から撮像するように設置されている第３撮像手段と、
前記第１及び第２撮像手段と同時的に、前記第３撮像手段が撮像した撮像画像から移動体領域の候補を抽出する抽出手段と、
前記特定手段が特定した移動体領域、及び前記抽出手段が第３撮像手段の撮像画像から抽出した候補を対応付ける手段と、
対応付けた移動体領域及び候補の夫々の撮像画像中における位置を特定する手段と、
夫々で特定された位置間の差異に基づき、前記第１乃至第３撮像手段のいずれかから移動体までの実空間における距離を算出する手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１乃至第３撮像手段は車両にとりつけてあり、車両から移動体までの距離を算出するようにしてあること
を特徴とする請求項５に記載の画像処理装置。
【請求項７】
遠赤外線波長帯にて撮像する第１撮像手段、及び該第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段により撮像される撮像画像から移動体を検出するための画像処理方法であって、
前記第１及び第２撮像手段が同時的に撮像した撮像画像から夫々、移動体が写っている移動体領域の候補を抽出し、
抽出した夫々の候補の重複部分を移動体領域として特定し、
特定した移動体領域の特徴量に基づき移動体を検出する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された撮像画像に写る移動体を検出するための画像処理装置に関する。特に、撮像画像に写る移動体の影部を効果的に除去し、移動体を種類別に正しく検出することを可能とする画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、見通しの悪いＴ字路、十字路等の交差点での交通事故を防止するための交通制御システムが種々提案されている。特に、交差点近傍の路側に道路状況を上方から可視光波長帯にて撮像する撮像装置を設置し、撮像した画像を自動車へ送信することにより運転者に警告、注意を通知できるシステムが提案されている（例えば、特許文献１参照）。
【０００３】
この場合、撮像した画像から自動車を検出するための前処理が行なわれる場合がある（例えば、特許文献２参照）。この場合、前処理として「背景差分」、「エッジ抽出」、「時間差分（フレーム差分）」、「オプティカルフロー」等の技術を利用し、撮像した画像内の車両に相当する領域を判別している。
【特許文献１】特開２００３−１０９１９９号公報
【特許文献２】特開２００８−４６７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
自動車同士の衝突のみならず、自動車と自転車との衝突、自動車と人との衝突等の種々の交通事故を削減するため、更に高度な安全運転支援システムの実現が期待されている。具体的には、交差点における他の自転車、人、又は落下物の有無及び位置の情報を交差点に進入しようとする自動車へ送信する。そして、自動車側で受信する情報に基づき事故を回避するための制御を自動的に実行する。これにより事故を未然に防ぐこと、及び被害を最小限に抑えることが期待される。したがってこの場合、撮像画像から交差点での単なる移動体の有無のみならず、自転車、人、又は落下物等の移動体の種類を夫々識別した上で移動体を検出することが必要となる。
【０００５】
撮像画像から移動体の種類をも区別して検出するためには、撮像画像内の移動体に相当する領域を背景差分又は時間差分などを用いて抽出した後、各移動体の特徴量を検知できるか否かを判断することが有効である。例えば、撮像画像内における検出対象の形状及び大きさを特徴量として設定しておき、移動体に相当する領域の形状及び大きさが設定されている形状及び大きさと一致するか否かによって移動体を識別することが可能である。
【０００６】
しかしながら、従来のシステムで利用されている可視光波長帯による撮像装置では、昼間の日照がある状況下での撮像画像から移動体に相当する領域を識別しようとする場合、移動体から背景に投影された影部分により移動体の種類を誤って識別する可能性がある。画像処理で差分を算出する場合に影部分を移動体の一部として抽出し、移動体のサイズを大きく検出する可能性があるからである。
【０００７】
また、可視光波長帯による撮像装置では、夜間に自動車以外の移動体を検出することが困難である。自動車及び自転車等の車両はヘッドライト、テールライト等の発光部を有するためにこれらを利用して検出することが可能であるが、人は発光部が通常無く、環境照度が低い夜間では撮像が困難である。また、自転車は発光部を有していても無灯火で走行する場合がある。したがって可視光波長帯による撮像装置を用いて、夜間に自転車又は人を検出することは困難である。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、夜間・昼間を問わずに撮像画像に基づき、撮像画像に写る移動体を種類別に正しく検出することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１発明に係る画像処理装置は、撮像画像に基づいて移動体を検出するための画像処理を行なう画像処理装置において、遠赤外線波長帯にて撮像する第１撮像手段と、該第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段と、前記第１及び第２撮像手段が同時的に撮像した撮像画像から夫々、移動体が写っている移動体領域の候補を抽出する抽出手段と、該抽出手段が抽出した夫々の候補の重複部分を、移動体領域と特定する特定手段と、該特定手段が特定した移動体領域の特徴量に基づき移動体を検出する手段とを備えることを特徴とする。
【００１０】
第２発明に係る画像処理装置は、前記第１及び第２撮像手段は、略平面をなす背景面を含む範囲を撮像するようにしてあり、撮像画像中における複数の異なる位置に対応付けて、各位置に物体が写る領域がある場合の前記背景面上の所定位置から前記物体までの実空間における距離を記憶しておく第１の記憶手段と、前記特定手段が特定した移動体領域の撮像画像中における位置を求める手段と、求めた位置に対応付けてある距離に基づき、前記所定位置から移動体までの実空間における距離を特定する距離特定手段とを備えることを特徴とする。
【００１１】
第３発明に係る画像処理装置は、移動体の種類、前記所定位置からの距離、及び移動体領域が撮像画像中で占めるべき領域の縦横の大きさの対応関係を記憶しておく第２の記憶手段と、前記距離特定手段が特定した移動体までの距離、及び前記特定手段が特定した移動体領域の縦横の大きさに基づき、移動体の種類を識別する識別手段とを更に備えることを特徴とする。
【００１２】
第４発明に係る画像処理装置は、前記第１及び第２撮像手段は交差点を俯瞰するように設置されており、前記１の記憶手段は、前記第１及び第２撮像手段の路面からの高さ及び俯角に基づき、撮像画像中における物体の領域の位置と、実空間における交差点中の所定位置から前記物体までの距離とが対応付けて記憶するようにしてあり、前記第２の記憶手段は、距離に対応付けて移動体領域が撮像画像中で占めるべき縦横の大きさを記憶するようにしてあり、更に、前記識別手段は、前記第１及び第２の記憶手段により記憶してある位置と距離との対応付け、及び縦横の大きさに基づき、移動体の種類を識別するようにしてあることを特徴とする。
【００１３】
第５発明に係る画像処理装置は、前記第１及び第２撮像手段の撮像範囲を、前記第１及び第２撮像手段とは異なる角度から撮像するように設置されている第３撮像手段と、前記第１及び第２撮像手段と同時的に、前記第３撮像手段が撮像した撮像画像から移動体領域の候補を抽出する抽出手段と、前記特定手段が特定した移動体領域、及び前記抽出手段が第３撮像手段の撮像画像から抽出した候補を対応付ける手段と、対応付けた移動体領域及び候補の夫々の撮像画像中における位置を特定する手段と、夫々で特定された位置間の差異に基づき、前記第１乃至第３撮像手段のいずれかから移動体までの実空間における距離を算出する手段とを備えることを特徴とする。
【００１４】
第６発明に係る画像処理装置は、前記第１乃至第３撮像手段は車両にとりつけてあり、車両から移動体までの距離を算出するようにしてあることを特徴とする。
【００１５】
第７発明に係る画像処理方法は、遠赤外線波長帯にて撮像する第１撮像手段、及び該第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段により撮像される撮像画像から移動体を検出するための画像処理方法であって、前記第１及び第２撮像手段が同時的に撮像した撮像画像から夫々、移動体が写っている移動体領域の候補を抽出し、抽出した夫々の候補の重複部分を移動体領域として特定し、特定した移動体領域の特徴量に基づき移動体を検出することを特徴とする。
【００１６】
第１発明及び第７発明にあっては、略同一の撮像範囲を撮像する第１撮像手段及び第２撮像手段により画像が撮像される。
移動体の影は、周辺との間に色味の差異又は輝度差を生じさせるが、移動体と共に短時間で移動するため、日射の有無による温度変化を生じさせない。したがって、移動体の影部分の領域は、可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段が撮像した撮像画像内では、背景差分又は時間差分などを用いて抽出した移動体領域の候補に含まれる。しかしながら、遠赤外線波長帯にて撮像する第１撮像手段で撮像した撮像画像内では、他の部分との温度差、即ち輝度差がないので移動体領域の候補に含まれない。これにより、移動体そのものが写っている移動体領域外に位置する移動体の影部分は、重複部分から除かれる。
一方、移動体そのものが写っている移動体領域内であるが周辺との温度差がない部分は、遠赤外線波長帯にて撮像する第１撮像手段による撮像画像内で移動体領域の候補に含まれない。したがって、第１撮像画像内における移動体そのものに相当する領域は、複数に分離して抽出される可能性がある。この場合、第２撮像手段による撮像画像内では、移動体そのものに相当する領域は周辺部分との色味又は輝度の差異により一連の領域として抽出される。第１撮像手段によって撮像された撮像画像から分離した複数の領域が抽出されても、第２撮像手段によって撮像された撮像画像から一連の領域として抽出された領域と重複する部分は一の移動体領域として特定することが可能である。
【００１７】
第２発明にあっては、第１及び第２撮像手段は、略平面をなす地面、床面又は路面等の背景面を含む範囲を撮像するようにしてあると共に、撮像画像内における移動体領域の位置と、背景面上の所定位置から移動体までの実空間における距離との対応を予め記憶しておく。これにより、所定位置から移動体までの実空間における距離を簡易に特定することが可能である。
【００１８】
第３発明にあっては、移動体の種類により、移動体領域が占めるべき領域の縦横の大きさは、移動体の第１及び第２撮像手段からの距離に応じて決定できる。移動体領域として特定された領域が、予め移動体の種類毎に記憶されている縦横の大きさの条件に対応している場合、移動体は対応する条件に相当する種類であると識別される。影部分を精度よく除去することができるので正確に移動体領域を抽出することができ、更に領域の大きさを特徴量として該特徴量に基づいて正確に移動体の種類を識別することも可能である。
【００１９】
第４発明にあっては、交差点の道路上を移動中の自動車、自転車、人又は落下物等の移動体の路面における影部分を除去して、正確に移動体の縦横の大きさなどの特徴量を特定することができる。これにより、交差点に進入してきた自動車若しくは自転車等の車両、人又は落下物等の移動体の種類を識別し、交差点における移動体の実空間の位置を特定することが可能となる。
【００２０】
第５発明にあっては、第１及び第２撮像手段による撮像画像から重複して抽出され、影部分が除去されて特定される移動体領域の撮像画像内における位置と、第３撮像手段による撮像画像から抽出される移動体領域の候補の撮像画像内における位置との差異、即ち、２つの撮像手段への入射角度の差異に基づき、三角測量法の手法を用いて移動体までの距離を精度よく算出することが可能である。
【００２１】
第６発明にあっては、自身が移動体である車両に第１乃至第３撮像手段が設置される。自車両にとっての移動体である他の車両、人、又は落下物等の移動体の路面への影に相当する部分を除去することができるので、三角測量法の手法により車両から移動体までの距離を精度よく算出することが可能である。
【発明の効果】
【００２２】
本発明による場合、遠赤外線波長帯にて撮像する第１撮像手段を用いることにより、影部分が移動体の一部として誤って検出されることを回避することが可能となる。また、移動体の表面の一部が、周辺と温度差を生じずに第１撮像手段による撮像画像で輝度差を生じない場合でも、第２撮像手段により可視光波長帯又は近赤外線波長帯にて撮像された画像で判別される領域が加味されて移動体領域が正確に抽出される。これにより、移動体を種類別に高精度に正しく識別することが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００２４】
なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点上の自動車、自転車、人又は落下物等の移動体を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。
【００２５】
（実施の形態１）
図１は、実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図１中の１は、交差点を撮像する２台の撮像装置と一体に構成される画像処理装置である。画像処理装置１は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置１と一体に構成されている２台の撮像装置のレンズが交差点及びその近傍の範囲を俯瞰するように設置されており、画像処理装置１及び撮像装置は撮像装置のレンズ側を遠赤外線、及び可視光線又は近赤外線を透過する素材とした筐体に収められている。図１中の２は路側機であり、画像処理装置１と同様に路側の支柱に取り付けられている。画像処理装置１と路側機２とは通信線により接続されている。
【００２６】
画像処理装置１は、路側機２を介して無線通信によりデータを送受信することが可能である。例えば、図１中には２台の自動車が示されている。各自動車の車載器は、例えばＤＳＲＣ（Dedicated Short Range Communication）技術により路側機２との無線通信が可能に構成されている。
【００２７】
実施の形態１における安全運転支援システムでは、画像処理装置１が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置１が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等の移動体を検出する。そして、画像処理装置１は検出した移動体の情報を路側機２を介して各自動車に送信する。これにより各自動車では、路側機２を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。
【００２８】
このような安全運転支援システムを実現するために、画像処理装置１が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。
【００２９】
図２は、実施の形態１における安全運転支援システムを構成する画像処理装置１、路側機２、並びに第１及び第２撮像装置３，４の内部構成を示すブロック図である。画像処理装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を利用して各構成部を制御する制御部１０と、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ等の不揮発性のメモリを利用した記憶部１１と、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリを利用した画像メモリ１２と、第１及び第２撮像装置３，４からの画像信号を受け付ける第１画像取得部１３及び第２画像取得部１４と、路側機２との通信を実現する通信部１５とを備える。
【００３０】
制御部１０は、内蔵するＲＯＭ（Read Only Memory）又は記憶部１１に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部１１は制御部１０に内蔵される構成としてもよい。制御部１０の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部１０内蔵のメモリに一時的に記憶される。
【００３１】
画像メモリ１２は、第１及び第２画像取得部１３，１４により取得された画像データを記憶する。制御部１０は、第１及び第２画像取得部１３，１４にて画像データを取得した場合に、第１及び第２画像取得部１３，１４夫々に対応する画像メモリ１２内の記憶領域への書き込みを指示する。また、後述にて説明する各処理は、画像メモリ１２に記憶されている画像データ、又はその複製に対して行なう。
【００３２】
画像メモリ１２は、制御部１０が内蔵するＲＡＭ（Random Access Memory）の一部の記憶領域であってもよい。また、記憶部１１又は画像メモリ１２は画像処理装置１の外部に設置され、画像処理装置１の制御部１０が読み書きが可能なように、画像処理装置１と接続されている構成としてもよい。
【００３３】
第１画像取得部１３は第１撮像装置３から出力される画像信号を受け付け、第２画像取得部１４は、第２撮像装置４から出力される画像信号を受け付ける。そして第１画像取得部１３及び第２画像取得部１４は夫々、受け付けた画像信号から画像データを取り出し、画像メモリ１２に記憶する。詳細には、第１及び第２画像取得部１３，１４は制御部１０からの指示に従い、夫々受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ１２へ書き込む。
【００３４】
通信部１５は、路側機２との間を接続する通信線を介した情報の送受信を実現する。制御部１０は、画像処理によって得られた情報を通信部１５にて路側機２へ送信し、通信部１５にて路側機２からの情報を受信する。
【００３５】
路側機２は、ＣＰＵ又はＭＰＵを利用して各構成部を制御する制御部２０と、画像処理装置１との通信を実現する通信部２１と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部２２とを備える。
【００３６】
通信部２１は画像処理装置１の通信部１５と対応して情報の送受信が可能である。制御部２０は、通信部２１が画像処理装置１から送信された情報を受信した場合、通信部２１からの通知を受けてこれを受信する。
【００３７】
無線通信部２２は、ＤＳＲＣ技術の方式により無線通信が可能である。制御部２０は、通信部２２により画像処理装置１から受信した情報を無線通信部２２により各自動車の車載器へ送信する。なお、無線通信部２２は車載器へのＤＳＲＣ方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。
【００３８】
第１撮像装置３は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム（ＶＯｘ）、アモルファスシリコン、ＳＯＩ（Silicon on Insulator）ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、８μｍ〜１２μｍである。フィルタを備えて他の波長の光を遮断するようにしてもよい。
【００３９】
第１撮像装置３の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。画角内に移動体から路面へ投影される影部分を含む場合、影部分も短時間で移動するので温度変化が生じにくく輝度差が生じない。したがって、遠赤外線撮像素子により出力された画像信号から取得される画像データ内の移動体の影部分には、他の路面との輝度値に差異が現れない。
【００４０】
第２撮像装置４は、可視光レンズ及び可視光撮像素子を備え、可視光波長帯にて撮像を行なうカメラである。可視光撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device Image Sensor）を用いる。可視光撮像素子の感度特性は例えば、４５０ｎｍ〜７００ｎｍである。フィルタを更に備えて他の波長の光を遮断するようにしてもよい。なお、第２撮像装置４は、近赤外（例えば、９００ｎｍ〜１．２μｍ）波長帯に感度特性を有するように、赤外線レンズ及び近赤外線撮像素子を備える構成としてもよい。
【００４１】
第２撮像装置４の可視光撮像素子は、光の強度を輝度値に変換して出力する。画角内に移動体から路面へ投影される影部分を含む場合、勿論、影部分は光の強度が周辺の路面と異なる。したがって、可視光撮像素子により出力された画像信号から取得される画像データ内の移動体の影部分には、影以外の部分と比して輝度差が生じる。
【００４２】
第１撮像装置３の遠赤外線撮像素子及び第２撮像装置４の可視光撮像素子の画素数はいずれも例えば３２０×２４０であり、１秒間に約３０フレームのレートで生成される画像の画像信号を出力する。第１及び第２撮像装置３，４における撮像タイミングは厳密に同期されていることが望ましいが、必ずしも厳密な同期性は求められない。例えば、第１及び第２撮像装置３，４における撮像タイミングの時間差は後述する画像処理に影響を及ぼすが、時間差が特定又は推定できる場合にはその時間差による誤差を吸収することも可能である。
【００４３】
第１撮像装置３の画角と、第２撮像装置４の画角とは略一致するように構成されている。つまり、第１及び第２撮像装置３，４では焦点距離が同一となるように内蔵するレンズ群の光学的配置が構成されている。同一画角での撮像を簡易に実現するため、第１及び第２撮像装置３，４は同一の画素数の撮像素子を用い、同一の方向、即ち交差点へ向けて並設されている。
【００４４】
なお、上述のように第１及び第２撮像装置３，４の画角は、後述する処理のためには一致することが望ましいが、完全に一致することは困難である。ただし、少なくとも画角が重複するように構成されることが必要となる。略一致するように並設できない場合は、第１及び第２画像取得部１３，１４にて取得される画像データの重複範囲を記憶部１１に記憶しておけばよい。そして、重複範囲内における相互に対応する画素を特定することが可能なように対応関係を記憶しておく。これにより制御部１０は、画像メモリ１２に記憶されている第１及び第２画像取得部１３，１４にて取得された２つの画像データの重複範囲内で同一の被写体に相当する領域を検出することができる。
【００４５】
次に、上述のように構成される画像処理装置１の制御部１０が、画像データに対して行なう画像処理について詳細を説明する。
【００４６】
制御部１０は、第１及び第２画像取得部１３，１４にて取得した画像データから、自動車、自転車、人又は落下物等の移動体を検出する。具体的には制御部１０は画像データから、移動体領域を抽出する。画像データに基づく移動体検出方法としては従来より種々の技術がある。実施の形態１では背景差分の方法を用いる構成とするが、一又は複数フレーム分前の画像データとの差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。
【００４７】
図３は、実施の形態１における画像処理装置１の記憶部１１に予め記憶されている背景の画像データ及び移動体の種類毎のサイズ情報の内容例を示す説明図である。図３（ａ）は、背景の画像データの内容例を示し、図３（ｂ）は移動体の種類毎のサイズ情報の内容例を示している。なお、図３（ａ）に示すような遠赤外線用の背景の画像データ、及び可視光用の背景の画像データが夫々、記憶部１１に記憶してある。
【００４８】
図３（ａ）に示すように、背景の画像データには固定物である路面が写っている。第１撮像装置３から取得される画像データと背景の画像データとの背景差分、及び第２撮像装置４から取得される画像データと背景の画像データとの背景差分を夫々算出することにより、移動体領域の候補が抽出される。
【００４９】
なお、画像処理装置１の設置位置、設置高さ、並びに第１及び第２撮像装置３，４の俯角、画角に応じて撮像範囲は決定される。実施の形態１の場合、第１及び第２撮像装置３，４は交差点を俯瞰するように設置されるので、画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図３（ａ）中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における画像処理装置１からの距離を示している。例えば、図３（ａ）中の一番下方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から２０ｍの距離に位置する。また、中央にある破線上に写る路面の一部は、画像処理装置１が設置される位置から５０ｍの距離に位置する。一番上方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から１００ｍの距離に位置する。
【００５０】
そして、移動体の大きさは、移動体の種類毎によってある程度決まる。例えば、移動体が普通乗用車及び小型乗用車である場合、それらは概ね縦（車長）×横（車幅）×高さ（車高）が５．５ｍ×２ｍ×１．８ｍの体積以内に収まるはずである。また人は、概ね縦×横×高さが８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まるはずである。第１及び第２撮像装置３，４によって移動体が撮像された場合、画像データ内の移動体領域の大きさは、画像処理装置１から遠いほど小さく、近いほど大きくなる。そして、移動体領域の大きさは、第１及び第２撮像装置３，４から移動体までの距離、並びに第１及び第２撮像装置３，４の画角に応じて決まる。
【００５１】
したがって、画像処理装置１から所定の距離に位置する移動体領域の画像データ内に占めるべき縦横の大きさは移動体の種類毎に求まる。そこで、図３（ｂ）に示すように移動体の種類毎に、画像処理装置１から所定の距離に位置する移動体領域の縦横の大きさを記憶部１１に記憶しておく。例えば、乗用車は概ね車幅２ｍ以内、車高１．８ｍ以内である。したがって画像データの垂直方向に対応する方向に、画像処理装置１から５０ｍの位置を走行中の乗用車が第１及び第２撮像装置３，４によって撮像された場合、乗用車の領域が占めるべき領域の大きさは例えば、縦×横が３０ピクセル×４８ピクセル以内となる。一方、画像データの水平方向に対応する方向に、画像処理装置１から５０ｍの位置を走行中の乗用車が第１及び第２撮像装置３，４によって撮像された場合、乗用車の領域が占めるべき領域の大きさは例えば、縦×横が３０ピクセル×６４ピクセル以内となる。
【００５２】
実施の形態１では図３（ｂ）に示すように、移動体の種類毎に移動体領域が占めるべき縦横の大きさを記憶部１１に予め記憶しておく。これにより、制御部１０は移動体領域の縦横の大きさに基づき、移動体の種類を逆に識別することが可能である。例えば制御部１０は、移動体領域が画像処理装置１から５０ｍの距離に相当する位置にある場合、領域の縦横の大きさから以下のように種類を識別することが可能である。例えば、制御部１０は、移動体領域の縦の大きさが３０ピクセル以内であって横の大きさが６４ピクセル以内であり、且つ、横の大きさが４８ピクセルよりも大きい場合、移動体を画像データの水平方向に対応する方向を走行中の乗用車と識別することが可能となる。同様に、制御部１０は、移動体領域の縦の大きさが３０ピクセル以内であって横の大きさが１５ピクセル以内である場合には、移動体を人と識別することが可能となる。
【００５３】
移動体領域の画像データ内における位置が、記憶部１１に記憶されているサイズ情報に対応する所定の位置（図３（ｂ）では５０ｍの距離の位置）とは異なる位置である場合、制御部１０は、その差異に応じて移動体に相当する領域が占めるべき縦横の大きさを算出する。制御部１０は、移動体領域の画像データ内における縦横の大きさと、算出した大きさとに基づき同様に移動体の種類を識別することが可能である。例えば画像処理装置１から１００ｍの距離に対応する位置に、移動体領域が位置する場合、所定の５０ｍの距離から倍の距離なので縦横の大きさも夫々半分以内となるはずである。
【００５４】
また、移動体に相当する領域の縦横比は移動体の種類によって一定であるはずである。したがって図３（ｂ）の説明図に示す縦横の大きさから求められる縦横比に基づいて、移動体の種類を識別してもよい。
【００５５】
このように、画像データ中の位置と、実空間における位置とを対応付けて記憶しておくことにより、移動体領域の画像データ中の位置に基づいて移動体の種類を識別することができる。その他、移動体の実空間における位置を特定することができる。移動体の位置を特定すると、移動体の情報を各自動車へ送信することによって各自動車の走行制御装置がこれを受信して移動体の位置を認識することができ、高精度な走行制御を行なうことができる。
【００５６】
画像処理装置１の制御部１０は、上述のように記憶部１１に記憶されている情報を用い、以下に示す処理を行なう。図４は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理の手順の一例を示すフローチャートである。
【００５７】
制御部１０は、第１画像取得部１３及び第２画像取得部１４へ同時的に指示信号を出力することにより、第１撮像装置３及び第２撮像装置４から出力される画像信号に基づく画像データを同時的に取得する（ステップＳ１）。なお、ステップＳ１における画像データの取得タイミングは任意である。例えば１秒等の一定時間毎に行なう構成としてもよいし、路側機２で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。
【００５８】
制御部１０は、第１撮像装置３から出力される画像信号からステップＳ１で第１画像取得部１３が取得した画像データと、記憶部１１に記憶してある遠赤外線用の背景の画像データとの差分データを算出する（ステップＳ２）。算出された差分データは、画像メモリ１２又は制御部１０内蔵メモリに一時的に記憶される。これにより、遠赤外線波長帯にて撮像する第１撮像装置３から得られる画像データから、背景の画像データには写っていない移動体が存在する領域が抽出される。
【００５９】
更に制御部１０は、第２撮像装置４から出力される画像信号からステップＳ１で第２画像取得部１４が取得した画像データと、記憶部１１に記憶してある可視光用の背景の画像データとの差分（背景差分）を算出する（ステップＳ３）。算出された差分データは、画像メモリ１２又は制御部１０内蔵メモリに一時的に記憶される。これにより、可視光波長帯にて撮像する第２撮像装置４から得られる画像データから、背景の画像データには写っていない移動体が存在する領域が識別される。
【００６０】
制御部１０は差分データを例えば以下のようにして算出する。制御部１０は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部１０は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す１ビット情報の二次元配列を、差分データとして算出する。
【００６１】
更に具体的には、制御部１０は取得した画像データの画素毎に、以下に示す式１に基づく演算を行なう。
【００６２】
【数１】
2009301494.tif 000003
【００６３】
ただし、式１におけるｆ（ｘ，ｙ）は、取得した画像データを構成する水平方向の位置ｘ及び垂直方向の位置ｙで特定される各画素の１ビット情報である。なお、水平方向の位置ｘは画像データの左端からの画素数であり、垂直方向のｙは画像データの上端からの画素数とする。Ｉx,yは取得した画像データにおけるｘ、ｙで特定される画素毎の輝度値である。Ｉ´x,yは、背景の画像データにおけるｘ、ｙで特定される画素毎の輝度値である。
【００６４】
なお、式１に示すように背景差分を算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。
【００６５】
制御部１０は、ステップＳ２及びＳ３で夫々算出された遠赤外線画像データの差分データ、及び可視光画像データの差分データの合成を行なう（ステップＳ４）。具体的には、制御部１０は差分データ同士の論理積をとる。即ち、制御部１０は、２つの差分データの同一の場所に位置する画素同士で、輝度値の差分が所定値以上であるか否かの真偽の論理積をとる。
【００６６】
更に具体的には、制御部１０は算出した差分データについて、以下に示す式２に基づく演算を行なう。
【００６７】
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｇ（ｘ，ｙ）…（２）
【００６８】
ただし、式２におけるｆ（ｘ，ｙ）は式１によって得られた遠赤外線画像データの差分データであり、ｇ（ｘ，ｙ）は式１によって得られる可視光画像データの差分データである。また、式２中の「＊」は論路積を表わす。
【００６９】
この処理により、いずれの差分データでも輝度値の差分が所定値以上であることが真である画素のみ真となる。つまり、遠赤外線波長帯による画像データからも移動体領域として抽出され、可視光波長帯による画像データからも移動体領域として抽出された領域のみが移動体領域として残る。なお、複数の連続する画素で真である場合以外、即ち、真である画素が連続しない場合は当該画素の１ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。
【００７０】
制御部１０は、ステップＳ４にて得られた遠赤外線画像データの差分データ、及び可視光画像データの差分データの合成結果から、移動体領域を特定する（ステップＳ５）。このとき、移動体領域が複数特定されてもよいのは勿論である。具体的には、制御部１０は差分データの論理積の結果、画像データの水平方向及び垂直方向に連続して真である画素を結合し、移動体領域とする。この場合、特定される移動体領域は任意の形状をしている。制御部１０は最終的に、移動体領域に外接する矩形を移動体領域とする。
【００７１】
なお制御部１０は、ステップＳ５の特定処理において、ステップＳ４において差分データの論理積により複数の異なる領域として抽出された領域について以下の処理を行なう。複数の異なる領域に分離している場合でも、いずれも可視光画像データの差分においては１つの領域に含まれるものがある。この場合には、制御部１０は一の移動体に相当するとして複数の領域を包括的に外接する矩形を特定する。複数の異なる領域に分離していても、夫々同一の移動体の一部に相当する領域であるからである。
【００７２】
次に制御部１０は、ステップＳ５で特定した移動体領域に基づき、移動体を識別する（ステップＳ６）。図３（ｂ）に示したように移動体領域の画像データ中における所定の位置に対し、移動体の種類毎に移動体領域が占めるべき縦横の大きさが設定されている。制御部１０は、ステップＳ５で特定した移動体領域の外接矩形の縦横の大きさと、領域の画像データ中における位置と、図３（ｂ）に示したように設定されているサイズ情報とに基づき、移動体の種類を識別する。これにより、移動体は種類を識別された上で検出される。いずれのサイズ情報が示す縦横の大きさにも合致しない場合には、移動体は検出されなかったとして処理が為される。
【００７３】
なお、制御部１０はステップＳ６において図３（ｂ）に示したようなサイズ情報に基づき種類を識別した。しかしながら本発明では、移動体の種類を識別する方法は問わない。例えば、移動体領域（外接矩形）に対し、移動体の種類毎のテンプレートとのパターンマッチングにより移動体の種類を識別するテンプレートマッチングの方式を用いてもよい。その他、サポートベクターマシン、ブースティング等の機械学習方法の方式を用いてパターン認識を行なうようにしてもよい。更に、制御部１０は、ステップＳ５で特定した領域で可視光画像データを切り出し、移動体の種類毎のモデルとなるカラー画像データとの相関をとり、相関の高さに基づく類似度を評価する。そして類似度の高さに基づいて移動体の種類を識別するようにしてもよい。
【００７４】
本発明では、ステップＳ５により影部分を除去した移動体領域を精度よく特定することができる。したがってステップＳ６においていずれの識別の方法を用いても、移動体の種類を正しく識別することが可能である。
【００７５】
次に、制御部１０は移動体の情報を通信部１５により路側機２へ送信し（ステップＳ７）、処理を終了する。詳細には、制御部１０はステップＳ６で識別した移動体の種類、及び移動体領域の画像データ中の位置から特定される画像処理装置１からの実空間における距離を移動体の情報として送信する。複数の移動体を検出できた場合には、路側機２へ送信された移動体の情報は、路側機２の無線通信部２２により各自動車の車載器へ向けて送信される。
【００７６】
画像処理装置１の制御部１０は、上述の処理により、移動体の種類を示す情報を共に送信するので、自動車の走行制御装置側で事故を防止するための制御を精度良く行なうことができる。
【００７７】
次に、画像処理装置１の制御部１０による処理を具体例を示して説明する。図５は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理結果の具体例を示す説明図である。図５（ａ）は、第２画像取得部１４にて取得される画像データ、即ち可視光画像データの内容例を模式的に示す。なお、図５（ａ）に示す画像データは白黒で輪郭を示し、可視光波長帯にて撮像される影部分を射線領域にて示している。
【００７８】
図５（ｂ）は、図５（ａ）に示した可視光画像データと、可視光用の背景の画像データとの差分データを模式的に示している。図５（ｃ）は、遠赤外線画像データと、遠赤外線用の背景の画像データとの差分データを模式的に示している。また、図５（ｄ）は、可視光画像データから算出される差分データと、遠赤外線画像データから算出される差分データとの合成後の画像データを模式的に示している。なお、図５（ａ）、図５（ｂ）、及び図５（ｃ）では一点鎖線により、画像データ内における位置を明確にするために道路の輪郭に相当する線を示している。
【００７９】
図５（ａ）に示すように、具体例における可視光画像データには交差点を走行中の２台の自動車、及び交差点を歩行中の人物が写っている。可視光波長帯にて撮像する第２撮像装置４から取得したので、画像データには、他の路面部分と輝度値に差異を生じた影部分が明確に写る。
【００８０】
したがって、制御部１０が可視光用の背景の画像データとの差分データを算出することにより、図５（ｂ）中の３つの射線部分に示すように、２台の自動車夫々の領域、及び歩行中の人物の領域が夫々抽出される。そのまま夫々の領域の外接矩形を破線に示すように求めた場合、差分データは影部分を含むので影部分の大きさだけ縦横の大きさが大きくなる。したがって、図５（ｂ）に示す外接図形に基づき、移動体の種類を識別しようとする場合、大きさ及び縦横比も実際とは異なるので誤って識別される可能性が高い。
【００８１】
一方、遠赤外線画像データでは、移動体の影部分は他の路面部分と輝度差を生じない。この場合も制御部１０が遠赤外線用の背景の画像データとの差分データを算出することにより、２台の自動車夫々の領域、及び歩行中の人物の領域が夫々抽出される。しかしながら、図５（ｃ）に示すようにいずれも影部分の領域は含まれていない。なお、図５（ｃ）では、左側を走行中の自動車に相当する領域は２つに分離している。
【００８２】
このように、遠赤外線画像データには影部分が残らない。周辺と温度差がない移動体の影部分は他の路面と輝度差を生じないからである。したがって、可視光画像データにおける差分データとの論理積を算出して差分データを合成することにより、図５（ｄ）に示すように影部分を除去することができる。
【００８３】
遠赤外線画像データでは温度差がない部分は輝度差を生じないので、図５（ｃ）に示したように、同一の移動体の移動体領域が２つの分離した領域として抽出される。これについては、制御部１０は遠赤外線の差分データと可視光の差分データとに基づき移動体領域を特定する際に、同一の移動体の移動体領域として特定する。遠赤外線画像データで２つの分離した領域に抽出されても、いずれも可視光画像データの差分データ内で連続して真である領域に含まれ、同一の移動体の異なる部分に相当する領域であるからである。この結果、図５（ｄ）中の破線に示すように、２台の自動車及び人物の領域は影部分を除去して正確に特定される。
【００８４】
このように、遠赤外線波長帯にて撮像する第１撮像装置３及び可視光波長帯又は近赤外線波長帯にて撮像する第２撮像装置４のいずれか一方ではなく、両者によって撮像される撮像画像夫々から抽出され領域の重複部分を真の移動体領域として特定する。第１撮像装置３を用いることにより、影部分を除去して誤検出を回避することができると共に、第２撮像装置４を併せて用いることにより、遠赤外線のみでは不足する情報を加味して移動体自体に相当する領域を正確に特定することができる。これにより、移動体の種類を識別した上で高精度に移動体を検出することが可能となり、優れた効果を奏する。
【００８５】
また、遠赤外線波長帯による第１撮像装置３を用いることで移動体の影部分が必然的に除去されることを利用しているので、影部分が含まれるか否かを日照の有無等に基づいて判断する必要もない。このように、画像処理装置１の制御部１０による画像処理としては簡易な構成により、有効に影部分を除去することができる点、優れた効果を奏する。
【００８６】
（変形例）
上述の実施の形態１における画像処理装置１は、移動体の種類毎に移動体領域が占めるべき縦横の大きさを記憶部１１に記憶しておき、移動体の種類を識別する構成とした。しかしながら、画像処理装置１の記憶部１１には移動体の種類毎に実空間における移動体の大きさを記憶しておくようにしてもよい。この場合制御部１０は、特定された移動体領域の大きさから、検出した移動体の実空間における位置及び大きさを算出し、算出した大きさを移動体の特徴量として扱い、該特徴量に基づいて移動体の種類を識別する。
【００８７】
図６は、実施の形態１の変形例における画像処理装置１の制御部１０が、移動体の実空間における大きさを算出する原理を模式的に示す説明図である。
【００８８】
図６（ａ）は、第１及び第２撮像装置３，４が設置される画像処理装置１の位置と、画像処理装置１による検出対象となる交差点中の人物の位置との関係を示している。図６（ｂ）は、画像処理装置１と人物とが図６（ａ）に示される位置関係にある場合に第１及び第２撮像装置３，４によって撮像される画像データの内容例を模式的に示している。
【００８９】
図６（ａ）に示すように、第１及び第２撮像装置３，４の画角θv が設定される場合に、人物が画像処理装置１の設置位置から距離Ｄにいると特定できたとき、人物の実空間における大きさＴは、以下の式３に示すような関係式で求められる。
【００９０】
【数２】
2009301494.tif 000004
【００９１】
ただし、式３におけるＨc は、図６（ｂ）に示すように画像データの垂直方向の画素数である。実施の形態１では、第１及び第２撮像装置３，４の撮像素子の画素数はいずれも、水平方向×垂直方向が３２０×２４０とした。そしてＨo は、図６（ｂ）に示すように画像データ中における検出対象となる人物の領域の垂直方向（縦）の大きさを示す画素数である。
【００９２】
式３の関係式を予め記憶部１１に記憶しておくことにより、移動体の実空間における画像処理装置１の設置位置からの距離Ｄと、画像データから抽出された検出対象の移動体に相当する領域の垂直方向の大きさＨo とに基づいて、実空間における大きさを算出することが可能である。
【００９３】
そして制御部１０は、式３により算出した実空間における大きさに基づき、移動体の種類を識別することが可能である。例えば制御部１０は、算出した実空間における高さが１．７ｍであり、抽出した領域の縦横比（横／縦）が約０．３０（＝６０ｃｍ／２．０ｍ）である場合には移動体を人物と識別する。
【００９４】
なお、図６（ａ）に示す人の画像処理装置１からの距離Ｄは、上述の実施の形態１に示したように予め記憶部１１に記憶してある情報から求める。具体的には、制御部１０は人に相当する領域として抽出された領域の下端の画像データにおける垂直方向の位置Ｙに対応付けて記憶してある実空間における画像処理装置１からの距離を求める。
【００９５】
ただし、画像データにおける垂直方向の位置Ｙと、第１及び第２撮像装置３，４を備える画像処理装置１からの距離Ｄとの関係は、図６（ａ）及び図６（ｂ）に示した画角θv 、画像データの垂直方向の画素数Ｈc に加え、第１及び第２撮像装置３，４を備える画像処理装置１が設置される高さｈ、俯角φc を含む以下の式４に示す関係式により成立する。
【００９６】
【数３】
2009301494.tif 000005
【００９７】
式４を記憶部１１に記憶しておくことにより、制御部１０は移動体領域（外接矩形）を特定した場合、領域の下端の画像データ中における垂直方向の座標Ｙを特定し、式４に基づいて実空間における、画像処理装置１から移動体までの距離Ｄを算出してもよい。
【００９８】
なお、実施の形態１では式４に基づいて予め算出しておいた座標Ｙと、距離Ｄとの対応を記憶部１１に記憶しておき、特定される座標Ｙに対応する距離Ｄを記憶部１１から読み出すことによって実空間における所定位置からの距離を求めた。これにより、演算によらずに簡易に実空間における移動体の位置（第１及び第２撮像装置３，４からの距離）を特定することができる。したがって、自動車へ移動体の情報として交差点内での実空間での位置情報を送信することができ、安全運転支援のために高精度な走行制御を実現することを可能とする。
【００９９】
（実施の形態２）
図７は、実施の形態２における安全運転支援システムが設置されている自動車の例を模式的に示す模式図である。図７中の３は、遠赤外線波長帯にて撮像を行なう第１撮像装置３である。図７中の４は、可視光波長帯又は近赤外線波長帯にて撮像を行なう第２撮像装置４である。図７中の５は、遠赤外線波長帯にて撮像を行なう第３撮像装置である。そして、図７中の６は、画像処理装置であって、車載ＬＡＮ７を介して自動車の走行制御の処理を行なう走行制御装置８に接続されている。また、第１乃至第３撮像装置３，４，５は、信号線９を介して画像処理装置６に接続されている。
【０１００】
第１及び第２撮像装置３，４は自動車の先頭部の左側に前方へ向けて並設されている。第３撮像装置５は、自動車の先頭部の右側に前方へ向けて設置されている。第１及び第２撮像装置３，４は、実施の形態１同様に略同一範囲を撮像範囲とするように設置されている。第３撮像装置５も第１撮像装置３の撮像素子と同じ画素数の遠赤外線撮像素子を備え、第１及び第２撮像装置３，４と同一画角での撮像が可能なように設置方向を調整してある。そして第１乃至第３撮像装置３，４，５はいずれも、通信線９を介して画像処理装置６へ画像信号を出力することが可能に構成されている。
【０１０１】
画像処理装置６は、第１乃至第３撮像装置３，４，５から出力される画像信号から画像データを取得し、取得した画像データに基づいて移動体を検出した場合、検出した事実と、検出した移動体の情報とを走行制御装置８へ車載ＬＡＮ７を介して送信する。送信する移動体の情報は、移動体の種類及び自動車から移動体までの距離である。走行制御装置８は、移動体の種類及び移動体までの距離に基づき、自動的にブレーキングを行なうべく指示する、又は車内外の緩衝装置を起動させる等の制御を行なうことが可能である。
【０１０２】
図８は、実施の形態２における安全運転支援システムを構成する第１乃至第３撮像装置３，４，５及び画像処理装置６の内部構成を示すブロック図である。第１乃至第３撮像装置３，４，５の構成の詳細は、実施の形態１と同様であるので説明を省略する。
【０１０３】
画像処理装置６は、制御部６０と、記憶部６１と、画像メモリ６２と、第１画像取得部６３及び第２画像取得部６４とを備え、更に、車載ＬＡＮ７を介した走行制御装置への情報の送信を実現する通信部６５と、第３撮像装置５からの画像信号を受け付ける第３画像取得部６６とを備える。制御部６０、記憶部６１、画像メモリ６２、並びに第１及び第２画像取得部６３，６４の詳細は、実施の形態１における画像処理装置１の制御部１０、記憶部１１、画像メモリ１２、並びに第１及び第２画像取得部１３，１４と同様であるので詳細な説明を省略する。
【０１０４】
通信部６５は、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）等の車載ＬＡＮの規格に基づき情報を送受信する。制御部６０は、通信部６５により移動体の情報を走行制御装置へ送信する。
【０１０５】
第３画像取得部６６は、受け付けた画像信号から画像データを取り出し、画像メモリ６２に記憶する。詳細には、第３画像取得部６６は第１及び第２画像取得部６３，６４同様に、制御部６０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ６２へ書き込む。
【０１０６】
上述のように構成される実施の形態２における画像処理装置６は、第１及び第２撮像装置３，４から取得する画像データに対し、実施の形態１で示した画像処理手順と同様の処理を行なう。即ち、第１及び第２画像取得部６３，６４により画像データを同時的に取得して夫々差分データを求め、差分データを合成することによって移動体領域を特定する。ただし、自動車に搭載される第１及び第２撮像装置３，４では、背景は走行中に随時変化するので背景差分ではなくフレーム差分を求めるようにすることが望ましい。
【０１０７】
実施の形態２における画像処理装置６の制御部６０は、第１及び第２撮像装置３，４から取得した画像データに基づき上述の処理で特定した移動体領域から、移動体の種類をテンプレートマッチングの方式を用いて識別してもよい。
【０１０８】
ただし、実施の形態２における画像処理装置６の制御部６０は、第１及び第２撮像装置３，４と離れて設置された第３撮像装置５から取得される画像データを用い、自動車の車体の先頭部から移動体までの距離を以下に説明する処理により算出する。
【０１０９】
第３撮像装置５は、第１及び第２撮像装置３，４と同一画角となるように設置されているから、第１及び第２撮像装置３，４で撮像される移動体を、第３撮像装置５でも撮像可能である。設置方向が異なるので、同一の移動体を撮像した撮像画像であっても、第３撮像装置５から得られる画像データにおける移動体領域の位置は、第１及び第２撮像装置３，４から得られる画像データにおける移動体領域の位置と異なる。移動体からの光の入射角度が異なるからである。
【０１１０】
制御部６０は、第１及び第２撮像装置３，４から出力される画像信号に基づく画像データを同時的に取得すると共に、更に同時的に第３撮像装置５から出力される画像信号に基づく画像データを取得する。制御部６０は、第３撮像装置５から取得した画像データに対してフレーム差分を求め、移動体領域の候補を抽出する。制御部６０は、第１及び第２撮像装置３，４から取得した画像データからフレーム差分を取って抽出した移動体領域の候補との形状又は位置等に基づく類似度により、第１及び第２撮像装置３，４から取得した画像データから特定される移動体領域と、第３撮像装置５から取得した画像データから抽出した移動体領域の候補を対応付ける。即ち、制御部６０は同一の移動体に対応する特定される移動体領域と、移動体領域の候補とを対応付ける。制御部６０は、特定される移動体領域と、該移動体領域に対応付けられた候補との間の同一画角内での位置の差異を求める。位置の差異は例えば移動体領域の右上に位置する座標等の特定の座標の位置の差異により求める。位置の差異は入射角の差異であるから、当該入射角の差異、並びに第１及び第２撮像装置３，４と第３撮像装置５との距離に基づき移動体までの距離を求めることが可能である。
【０１１１】
このように、遠赤外線波長帯にて撮像する第１撮像装置３、可視光波長帯又は近赤外線波長帯にて撮像する第２撮像装置４、遠赤外線（可視光又は近赤外線）波長帯にて撮像する第３撮像装置５、及び画像処理装置６を自動車に搭載する構成によって、自動車内で前方の移動体の種類を識別した上で精度よく移動体を検出することができる。更に、距離を離して第３撮像装置５を設置し、第３撮像装置５から取得できる画像データを利用し、移動体までの距離を算出し、移動体の種類及び移動体までの距離に応じた走行制御が可能となる。
【０１１２】
なお、実施の形態２では、第３撮像装置５を遠赤外線波長帯にて撮像を行なう遠赤外線カメラとした。しかしながら、第３撮像装置５は可視光波長帯又は近赤外線波長帯にて撮像を行なうカメラであってもよい。
【０１１３】
実施の形態１においても実施の形態２における構成同様に、異なる角度からの撮像を行なう第３撮像装置を別途備え、ステレオ視によって実空間における距離を算出するようにしてもよい。
【０１１４】
上述の実施の形態１及び２では、第１及び第２画像取得部又は第３画像取得部による画像の取得、並びに画像処理を制御部が行なう構成とした。しかしながら本発明はこれに限らず、第１乃至第３画像取得部による画像の取得処理及び画像処理を、画像処理部分を分離した集積回路によって実現するように構成してもよい。
【０１１５】
実施の形態１及び２は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による移動体の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯システム又は監視システム等、撮像画像に基づき移動体を検出する場合に、移動体を精度よく検知して移動体の種類を識別することが可能である。
【０１１６】
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１７】
【図１】実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。
【図２】実施の形態１における安全運転支援システムを構成する画像処理装置、路側機、並びに第１及び第２撮像装置の内部構成を示すブロック図である。
【図３】実施の形態１における画像処理装置の記憶部に予め記憶されている背景の画像データ及び移動体の種類毎のサイズ情報の内容例を示す説明図である。
【図４】実施の形態１における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。
【図５】実施の形態１における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。
【図６】実施の形態１の変形例における画像処理装置の制御部が、移動体の実空間における大きさを算出する原理を模式的に示す説明図である。
【図７】実施の形態２における安全運転支援システムが設置されている自動車の例を模式的に示す模式図である。
【図８】実施の形態２における安全運転支援システムを構成する第１乃至第３撮像装置及び画像処理装置の内部構成を示すブロック図である。
【符号の説明】
【０１１８】
１，６  画像処理装置
１０，６０  制御部
１１，６１  記憶部
３  第１撮像装置
４  第２撮像装置
５  第３撮像装置
【図１】
2009301494.tif 000006
【図２】
2009301494.tif 000007
【図３】
2009301494.tif 000008
【図４】
2009301494.tif 000009
【図５】
2009301494.tif 000010
【図６】
2009301494.tif 000011
【図７】
2009301494.tif 000012
【図８】
2009301494.tif 000013