(57)【要約】【課題】移動する物体の移動を検出するために用いる動画像として、環境の影響を受ける度合いが低減するように加工された動画像を提供する。【解決手段】抽出手段１は、道路上の物体を光学的に逐次撮像して得た複数の撮像画像より、物体を撮像した時刻における路面上での該物体の位置を示す位置情報に基づいて、該時刻での該位置における路面からの高さが所定の範囲内の領域が写っている部分を抽出する。生成手段２は、抽出手段１が抽出した部分を加工した画像を時刻に従って並べて移動検出画像を生成する。位置情報は例えばレーダ型センサにより計測された距離である。移動検出画像は、抽出した部分に対応する画像を位置に対応付けて配置した位置対応画像や、撮像画像において前記部分を識別することができるように加工した識別画像を、時刻に従って並べたものでもよい。【選択図】図１
2008059260.tif 000002
【特許請求の範囲】
【請求項１】
道路上の物体の移動の検出に用いる動画像である移動検出画像を生成する移動検出画像生成装置であって、
前記物体を光学的に逐次撮像して得た複数の撮像画像より、前記物体を撮像した時刻における前記道路の路面上での該物体の位置を示す位置情報に基づいて、該時刻での該位置における前記路面からの高さが所定の範囲内の領域が写っている部分を抽出する抽出手段と、
前記部分を加工した画像を前記時刻に従って並べて前記移動検出画像を生成する生成手段と、
を備えることを特徴とする移動検出画像生成装置。
【請求項２】
前記生成手段は、前記部分に対応する画像を前記位置に対応付けて配置した位置対応画像を生成する位置対応画像生成手段を備え、
前記生成手段は、前記位置対応画像を前記時刻に従って並べて前記移動検出画像を生成する、
ことを特徴とする請求項１に記載の移動検出画像生成装置。
【請求項３】
前記生成手段は、前記撮像画像において前記部分を識別することができるように加工した識別画像を生成する識別画像生成手段を備え、
前記生成手段は、前記識別画像を前記時刻に従って並べて前記移動検出画像を生成する、
ことを特徴とする請求項１に記載の移動検出画像生成装置。
【請求項４】
前記物体の前記位置は、レーダ型センサにより計測された、該レーダ型センサから該物体までの距離によって示されることを特徴とする請求項１に記載の移動検出画像生成装置。
【請求項５】
前記レーダ型センサは、距離を計測する方向である計測軸の方向を変えて走査を行いながら、前記撮像画像の撮像間隔よりも短い所定の間隔で前記物体への前記距離を計測し、
前記所定の間隔による所定の回数分の時間が、前記撮像画像の一撮像間隔と等しくなるように、前記撮像画像の撮像と前記距離の計測が同期されている、
ことを特徴とする請求項４に記載の移動検出画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の移動を検出するのに用いる動画像を生成する装置に関する。
【背景技術】
【０００２】
移動する物体について、その移動に関する量を計測する装置やシステムが利用されている。移動する物体の例は、二輪車、乗用車、トラックなどを含む車両である。道路上を移動するこれら車両の移動に関する量としては、個々の車両の速度（車速）や加速度、複数の時刻における個々の車両の位置、車流（交通流）の流量や流速などがある。以下では主に車流の計測を例として述べる。
【０００３】
従来の車流計測システムでは、屋外の定点に設置した装置を用いて道路上の車流を計測しているが、計測の方法には大きく二つに分けられる。第一の方法は画像を用いる方法で、第二の方法はレーダ型センサを用いる方法だが、いずれも欠点がある。
【０００４】
第一の方法では、図１４に示すごとく、光学型カメラ１０１が有するレンズ系を用いて、車両甲１０２と車両乙１０３からなる車流を撮影し画像を取得する。そして、コントラスト等に基づく画像処理やパターン認識等を行うことにより、取得した画像から背景部分を分離し、車両部分のみを抽出する。そして、抽出した車両の画像を追跡することにより、車流に関する情報を取得する。
【０００５】
第一の方法では、可視カメラ、赤外カメラを用いることができる。しかし、これらのカメラは時刻や天候に応じた環境条件の変動の影響を受けやすいため、第一の方法では環境条件が悪いとＳ／Ｎ比が低下し、測定精度が劣化する。
【０００６】
例えば、雨天の場合は路面が濡れ、路面からの反射が大きい。よって、路面に写る反射像がゴースト画像となり、画像処理によって正確に車両と背景を分離することができない。その結果、車流を正確に測定することができない。また、雪の場合は、雨天と同様に路面からの反射が大きくなることもあり、降雪の具合によっては路面が隠れてしまったり画面全体のコントラストが低下したりすることもある。コントラストが低下すると、車両と路面を分離する画像処理の精度が悪化する。夜間の場合は、画面全体が暗くてコントラストが低下することもあり、ヘッドライトによる残影が路面に反射することもあるが、いずれも画像劣化の原因となる。さらに、降雨や降雪、または霧などの発生によって空気中に水滴が多く含まれる場合には、画面全体のコントラストが低下する。また、エッジ抽出などの画像認識において車両以外に道路標示も検出すべき物体として誤って抽出されてしまうことがある。これらの様々な環境要因に影響され、第一の方法ではパターン認識の精度が低下することがある。
【０００７】
第二の方法では、レーダ型センサを用いて、計測対象の物体（車流計測の場合は車両）に向けて電波を発射し、その反射波を検出する。電波の発射から反射波を検出するまでの時間を計測することで、物体までの距離を計測する。
【０００８】
第二の方法は、照度変化の影響を受けにくいため、天候や時刻により測定精度が劣化することはあまりない。しかし、第二の方法では物体の表面からの反射波を計測するため、物体の色や模様の計測は不可能であり、計測の対象車両と他車両を識別することは困難である。また、車両から反射した電波が他の構造体（路面、ビル、他車両等）から２次反射することもあり、その場合は車影を分離することが難しい。
【０００９】
以上のことから、画像とレーダ型センサの双方を使うことによって欠点を補い合うことが考えられる。画像とレーダ型センサの双方を使った従来の装置には、特許文献１〜３のような例がある。
【００１０】
特許文献１による装置は、スキャニングレーザレーダとカメラを備えた車載装置である。スキャニングレーザレーダは、レーザ光を出射する方向を変化させてスキャニングし、自車両の前方の物体を複数の検出点の点列として検出する。また、カメラで自車両の前方を撮像する。検出した点列と撮像した画像の双方を考慮することにより、前方にある物体が走行の妨げとなる高さに存在するものか否かを判別する。
【００１１】
特許文献２による装置は、レーダ送受信部と撮像部を備えている。複数の物体があるとき、複数の物体からのレーダの反射波が合成されて受信され、その結果、物体の位置を誤検出する場合がある。特許文献２の装置は、レーダによって対象物の距離と個数を検出し、撮像部で撮像した画像に基づいて対象物の大きさと方位を検出し、双方の検出結果を用いることによって、レーダの誤検出を正している。
【００１２】
特許文献３による装置は、ミリ波レーダと左カメラと右カメラを備えている。この装置では二つのカメラの視差から対象物への距離を算出するが、その画像処理の処理量を減らすため、画像処理の対象となる範囲を限定している。具体的には、ミリ波レーダからの出力パワーが強く、対象物が存在すると期待される方向に範囲を限定している。
【特許文献１】特開２００３−４４９９５号公報
【特許文献２】特開２００１−２９６３５２号公報
【特許文献３】特開２００１−２９６３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１、２には、レーダの欠点を画像で補うという観点は見られるが、悪天候等の理由で画像の状態が悪いときに画像の欠点をレーダで補うという観点は見られない。特許文献３は、単に範囲を限定する用途にレーダを利用しているだけなので、画像の状態が悪ければ距離算出の精度も悪化する。
【００１４】
本発明の課題は、移動する物体の移動を検出するために用いる動画像として、環境の影響を受ける度合いが低減するように加工された動画像を提供することである。
【課題を解決するための手段】
【００１５】
図１は本発明の原理を示す図である。本発明による移動検出画像生成装置は、道路上の物体の移動の検出に用いる動画像である移動検出画像を生成する装置で、抽出手段１と生成手段２を備える。抽出手段１は、前記物体を光学的に逐次撮像して得た複数の撮像画像より、前記物体を撮像した時刻における前記道路の路面上での該物体の位置を示す位置情報に基づいて、該時刻での該位置における前記路面からの高さが所定の範囲内の領域が写っている部分を抽出する。生成手段２は、前記部分を加工した画像を前記時刻に従って並べて前記移動検出画像を生成する。
【００１６】
前記移動検出画像は、前記部分に対応する画像を前記位置に対応付けて配置した位置対応画像または前記撮像画像において前記部分の画像を識別することができるように加工した識別画像を、前記時刻に従って並べたものであることが好ましい。また、前記物体の前記位置は、レーダ型センサにより計測された、該レーダ型センサから該物体までの距離によって示されてもよい。
【００１７】
例えば、雨天のときに撮像した撮像画像には、路面の水による物体の反射像を含むことがある。しかし、その反射像の位置には実際の物体は存在しない。抽出手段１は物体の位置情報に基づいて前記部分を抽出しているので、抽出されるのは物体が存在している位置に対応する部分であり、反射像の位置に対応する部分ではない。また、高さの範囲を適切に定めることにより、物体が存在する領域に対応する部分を適切に特定し、その部分を抽出することができる。
【００１８】
また、例えば霧が出ているときに撮像した撮像画像は全体のコントラストが低いため、物体が存在する領域を画像認識処理によって特定することは困難である。しかし、そのような画像からでも、高さの範囲を適切に定め、物体の位置情報を利用することにより、抽出手段１は物体が存在する領域に対応する部分を適切に抽出することができる。
【００１９】
移動検出画像の具体例は実施形態によって異なるが、物体が存在する領域に対応する部分を利用して生成される画像であることは共通である。したがって、そのような移動検出画像を使って移動の検出を行うことにより、存在する物体に対応する部分とそれ以外の部分を取り違えて誤認識することを防ぐことができる。
【発明の効果】
【００２０】
本発明の移動検出画像生成装置を利用することにより、移動の検出において、環境の影響を受ける度合いが低減する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同じ構成要素には同じ参照番号を付して適宜説明を省略する。
また、以下では移動を検出する対象の物体が車両である場合を例として説明し、簡単のため、道路の路面が水平であり、移動の検出に関わる部分の道路は直線状であることを仮定する。そして、その道路の幅方向に平行な軸をｘ軸、路面に平行であってｘ軸に垂直な軸をｙ軸、路面に対して垂直な軸をｚ軸とし、路面はｚ＝０なる平面であるとして説明する。つまり、道路はｙ軸方向に平行と仮定する。
【００２２】
図２は、本発明の移動検出画像生成装置が利用する撮像画像および位置情報の取得方法と、抽出手段１が抽出する部分について説明する概略図である。図２はｙｚ平面への射影である。
【００２３】
図２において、道路上を車両甲１０２と車両乙１０３が走行している。これら車両の走行の妨げとならない位置に、カメラ１０１とレーダ型センサ１０４が設置されている。
カメラ１０１は、例えば３０ｆｐｓのフレームレートで動画を撮像する撮像装置であり、ＣＣＤ（Charge Coupled Device）カメラなどを利用することができる。図１の抽出手段１に与えられる撮像画像は、カメラ１０１が撮像した動画を構成する個々のフレーム画像に相当する。カメラ１０１は例えば３０〜４０度程度の画角を有する。カメラ１０１の設置位置・設置角度・画角等の要因により、カメラ１０１が撮像する撮像画像２０１には高々１台しか車両が撮像されないこともあるし、複数台の車両が撮像されることもある。図２の撮像画像２０１は、車両甲１０２だけが撮像された場合の例である。
【００２４】
レーダ型センサ１０４は、電磁波を測定対象物に照射してその反射波を検知することによって測定対象物までの距離を測定するセンサである。レーダ型センサ１０４は、例えば、波長が１ｍｍ〜１０ｍｍ程度の「ミリ波」と呼ばれる電波を使うタイプのものでもよい。ミリ波は直進性が強く指向性が高いという特徴があり、レーダ用途に適している。
【００２５】
なお、図２においてレーダの照射を示す矢印と反射を示す矢印が分けて示してあるが、以下の説明においては、特に断らない限りこの二つは実質的に同一直線であると仮定する。また、その直線上にある物体までの距離を測定することから、この直線を「計測軸」ともよぶことにする。
【００２６】
図２に示すように、カメラ１０１とレーダ型センサ１０４は、カメラ１０１の撮像エリアとレーダ型センサ１０４の測定エリア（ミリ波の照射エリア）が重なるように配置されている。また、いずれも路面に向かって下向きの角度で設置されているので、レーダ型センサ１０４から車両甲１０２までのｙ軸方向の距離Ｌは、レーダ型センサ１０４からレーダが照射される角度に応じて算出する必要がある（図４とあわせて後述）。なお、図２では簡単のため、カメラ１０１とレーダ型センサ１０４の設置位置のｙ座標が等しいと仮定する。距離Ｌは、図１の抽出手段１に与えられる位置情報の例である。後述するように、レーダ型センサ１０４は走査（スキャニング）を行うことが好ましい。
【００２７】
図１の抽出手段１は、撮像画像２０１と距離Ｌを利用して、撮像画像２０１のうち測定エリア１０５（高さの幅はΔＺ）に相当する部分を抽出する。抽出された部分は、撮像画像２０１のうち車両甲１０２が写っている部分であるから、この部分をもとに、移動検出画像を生成することによって、移動の検出精度を安定的に高く保つ。
【００２８】
次に、抽出手段１による抽出の方法について説明するが、まず、その理解に役立つ従来技術として光切断法について説明する。
図３は光切断法の説明図である。光切断法は、画像から高さ情報を求めるために使用されている。図３は、高さ方向の軸をｚ軸とした場合の、ｙｚ平面への射影である。
【００２９】
通常、ｚ＝０なる水平面に置かれた測定対象物体１０８の高さＨは、測定対象物体１０８の真上からカメラ１０１で測定対象物体１０８を撮像しても検出することができない。つまり、カメラ１０１の光軸１０６がｚ軸と平行であるため、ｚ成分である高さＨは、撮像した画像から算出することができない。
【００３０】
光切断法では、光軸１０６と平行ではない角度でシート状のレーザ光１０７を照射することにより、カメラ１０１で測定対象物体１０８を撮像した画像である取得画像２０２から測定対象物体１０８の高さＨを算出する。図３では簡単のため、測定対象物体１０８を直方体と仮定して作図した。
【００３１】
図３においてシート状とは平面状ということであり、照射されるレーザ光１０７がｘ軸方向に広がりを有することを意味する。また、レーザ光１０７の「シート」（平面）の法線ベクトルはｘ成分を持たない。そのようなシート状のレーザ光１０７を照射すると、測定対象物体１０８の上面（ｚ＝Ｈなる面）でレーザ光１０７が反射した位置のｙ座標と、測定対象物体１０８の外側においてｚ＝０なる面でレーザ光１０７が反射した位置のｙ座標には、ずれＤが生じる。レーザ光１０７は、シート状のものを照射するのではなく、ｘ成分を変えて走査しながらビーム状のものを照射するのでもよいが、その場合も同様のずれＤが生じる。
【００３２】
ずれＤは、取得画像２０２の画素ｄ個分の差に相当する。既知の高さを持つ物体を予め測定しておくことにより、実際のずれと画素数の関係は求められる。したがって、その関係と画素数ｄとから、ずれＤを算出することができる。また、図３においてレーザ光１０７がｚ軸となす角度θも予め計測しておく。すると、未知の高さＨは
Ｈ＝Ｄ・ｔａｎθ
なる計算により算出することができる。
【００３３】
次に、図４を参照して、図１の抽出手段１による抽出の原理を説明する。カメラ１０１の撮影方向（光軸１０６の方向）とは異なる角度の方向の情報を利用して、対象の物体の高さに関する情報を取得するという点で、図４の原理は図３の光切断法と似ている。
【００３４】
なお、図４には抽出手段１自体は図示していない。図４には、ｚ＝０なる水平面上に存在する測定対象物体１０８をカメラ１０１で撮像する様子を示すとともに、レーダ型センサ１０４を使ってカメラ１０１と測定対象物体１０８とのｙ軸方向の距離Ｌを算出する様子を示した。図４はｙｚ平面への射影である。
【００３５】
図２と比較すると、車両甲１０２と測定対象物体１０８が対応している。また、カメラ１０１とレーダ型センサ１０４の上下関係が図２とは逆だが、どちらを上に設置してもかまわないことを示している。
【００３６】
カメラ１０１とレーダ型センサ１０４の設置位置や設置角度、相互の位置関係は予め調整され、計測されて既知となっているものとする。相互の位置関係を示す情報の例は、例えばカメラ１０１とレーダ型センサ１０４のｙ軸方向の距離Ｌ２である（図２ではＬ２＝０と仮定していた）。
【００３７】
レーダ型センサ１０４は、レーダ型センサ１０４から測定対象物体１０８までのｙ軸方向の距離Ｌ１を以下のようにして測定する。レーダ型センサ１０４がミリ波を照射してから、それが測定対象物体１０８で反射してレーダ型センサ１０４で検知されるまでの伝播時間（time of flight；以下ＴＯＦと略記する）をΔｔとする。レーダ型センサ１０４はこのΔｔを計測している。また、光速をｃとする。レーダ型センサ１０４の計測軸１０９がｙ軸となす角度θは、上記のとおり既知であるため、
Ｌ１＝（１／２）・ｃ・Δｔ・ｃｏｓθ
なる計算によりＬ１を算出することができる。
【００３８】
したがって、カメラ１０１から測定対象物体１０８までの距離Ｌは、
Ｌ＝Ｌ１−Ｌ２
なる計算によって算出することができる。
【００３９】
こうして算出した距離Ｌを利用して、測定対象物体１０８において高さがＨから（Ｈ＋ΔＺ）の領域（以下「抽出領域」とよぶ）が、カメラ１０１が撮像して取得した取得画像２０３のどの部分に相当するかを判定し、その部分を抽出する。
【００４０】
カメラ１０１は、光軸１０６が水平面となす角度が一定となるように、そして取得画像２０３における水平方向が実際の水平方向と一致するように、固定して設置されている。また、カメラ１０１の設置角度は予め計測しておく。
【００４１】
このようにカメラ１０１を設置することにより、カメラ１０１からのｙ軸方向の距離がＬで、高さがｚ＝Ｈで、ｘ＝ｘ０なる位置にある物体からの反射光が、ＬとＨとｘ０により定まるある角度でカメラ１０１に入射することになる。したがって、ＬとＨとｘ０が与えられると、取得画像２０３におけるどの画素がその位置に対応するかを決定することが可能である（よって、図１の抽出手段１は、図２の撮像画像２０１から抽出すべき部分を決定することができる）。また、上記のごとく取得画像２０３における水平方向は実際の水平方向と一致する。よって、一定のＬとＨに対してｘのみをｘ１≦ｘ≦ｘ２なる適当な範囲で変化させると、取得画像２０３では、水平方向の画素の並び（直線）がそれに対応する。
【００４２】
したがって、カメラ１０１からのｙ軸方向の距離がＬで、高さが抽出領域（Ｈ≦ｚ≦Ｈ＋ΔＺ）に含まれ、ｘがｘ１≦ｘ≦ｘ２なる適当な範囲に含まれる領域は、取得画像２０３における、二辺が水平で二辺が垂直な長方形の部分に対応する。よって、抽出手段１はその長方形の部分を抽出すればよい。
【００４３】
抽出領域を規定するＨとΔＺは予め定められた値であり、Ｌは測定により得られる値である。よって、抽出手段１は距離Ｌを入力として受け取ることによって、所望の部分を撮像画像２０１から抽出することができる。上記から明らかなとおり、この抽出方法によれば、コントラスト等の画質に左右されずに、また、画像認識処理等も必要とせずに、測定対象物体１０８（例えば車両甲１０２）の抽出領域に対応する部分を抽出することができる。
【００４４】
次に、図５を参照して本発明の移動検出画像生成装置による移動検出画像の生成について説明する。図５（Ａ）は撮像画像２０１と距離Ｌの取得方法の概略説明図であり、図５（Ｂ）は撮像画像２０１の一例であり、図５（Ｃ）と図５（Ｄ）は移動検出画像を構成する個々のフレーム画像の一例である。
【００４５】
図５（Ａ）は図２とほぼ同様の図である。図５（Ａ）でも図２と同様に、カメラ１０１とレーダ型センサ１０４のｙ座標は等しいと仮定する。また、図９とあわせて後述するようにレーダ型センサ１０４は走査を行うことが好ましい。
【００４６】
カメラ１０１は動画を撮像する。その動画は、個々の時刻に対応するフレーム画像、すなわち図５（Ｂ）の撮像画像２０１からなる。撮像画像２０１がある時刻ｔに対応し、時刻ｔにおけるカメラ１０１と車両甲１０２の距離Ｌがレーダ型センサ１０４によって計測されると、図１の抽出手段１は、図４で説明した方法で車両甲１０２の抽出領域に対応する部分を撮像画像２０１から抽出する。この部分は、カメラ１０１の視野のうち、図５（Ａ）の測定エリア１０５に対応する。
【００４７】
図１の生成手段２は、抽出された部分を利用して移動検出画像を生成するが、移動検出画像は実施形態によって様々に異なる。図５（Ｃ）と図５（Ｄ）はそのうちの二つの例を、移動検出画像（動画）を構成するフレーム画像によって示したものである。
【００４８】
図５（Ｃ）のフレーム画像は、時刻ｔに対応する撮像画像２０１から抽出した前記部分の画像を、距離に対応させて配置した画像の例である。前述のとおり距離は位置情報の一種であるから、以下ではこのようなフレーム画像を「位置対応画像」とよぶ。
【００４９】
図５（Ｃ）の位置対応画像２０４において、横軸がｙ軸に対応し、縦軸はｘ軸に対応する。そして、道路上での距離と位置対応画像２０４での横方向の画素数とが対応付けられている。
【００５０】
図５（Ｂ）の撮像画像２０１には車両甲１０２しか写っていないが、カメラ１０１の設置位置、設置角、画角等の条件によっては、撮像画像に車両乙１０３も写ることがある。また、その場合にはレーダ型センサ１０４がカメラ１０１から車両甲１０２への距離Ｌと車両乙１０３への距離Ｌ’の双方を計測しているものとする。
【００５１】
このとき、図１の抽出手段１は、車両甲１０２と車両乙１０３の双方に対応する部分をそれぞれ撮像画像から抽出する。つまり、距離Ｌで高さが抽出領域となる領域に対応する部分２０５（車両甲１０２に対応）と、距離Ｌ’で高さが抽出領域となる領域に対応する部分２０６（車両乙１０３に対応）を抽出する。そして、後述する画像再構成部３０７が、部分２０５と部分２０６をそれぞれ距離Ｌと距離Ｌ’に対応するようにマッピングして配置し、位置対応画像２０４を生成する。
【００５２】
位置対応画像２０４は個々の時刻に対応するフレーム画像なので、位置対応画像２０４を生成手段２が時刻に従って並べることにより、動画である移動検出画像が生成される。
なお、図５（Ｃ）に示した座標系では、横軸を「ｙ（ｔ）」と表記しているが、これは車両のｙ軸方向の位置が時刻ｔとともに変化することを強調するための表記である。すなわち、位置対応画像２０４における横軸は、図５（Ａ）のｙ軸に対応するが、時間に対応すると見なすこともできる。また、ある一つの車両に注目すれば、その車両のｙ座標の値が時刻ｔの関数であることも見なすことができる。
【００５３】
また、図５（Ｃ）のような位置対応画像２０４は、例えば図５（Ｂ）のように１台の車両のみが映った撮像画像２０１からも生成可能なことは無論である。
図５（Ｄ）のフレーム画像は、時刻ｔに対応する撮像画像２０１から抽出手段１が抽出した前記部分の画像を強調して、時刻ｔにおける撮像画像２０１に重畳した画像である。図５（Ｄ）では、黒塗りにすることで強調している。例えばこのように強調することにより、後の画像処理においてこの部分を識別することが容易となることから、以下ではこのようなフレーム画像を「識別画像」とよぶ。
【００５４】
識別画像２０７は個々の時刻に対応するフレーム画像なので、識別画像２０７を生成手段２が時刻に従って並べることにより、動画である移動検出画像が生成される。
上記のごとく、位置対応画像２０４、識別画像２０７のいずれによって移動検出画像を構成する場合であっても、移動検出画像は撮像画像２０１に基づいて生成される。レーダ型センサ１０４のみによる検出では、物体の色や模様を把握することができないが、このようにカメラ１０１で撮像した撮像画像２０１を利用することにより、物体の表面の色や模様を識別可能なように移動検出画像を構成することができる。また、もとの撮像画像２０１の解像度などを適宜設定することにより、移動検出画像を使って高い精度で物体の移動を認識することができる。
【００５５】
次に、図６と図７を参照して、本発明により生成される移動検出画像の利点について説明する。
図６は、２種類の動画を、それぞれ複数の時刻（ｔ１、ｔ２、ｔ３）に対応する複数のフレーム画像を重畳して模式的に示した図である。いずれの動画も、横方向がｙ軸に対応し、縦方向がｘ軸に対応する。
【００５６】
図６の上に示したのはレーダ画像２０８である。以下においてレーダ画像２０８とは、レーダ型センサ１０４により計測された物体までのｙ軸方向の距離を、画像上の横方向の座標にマッピングして生成される画像のことである。図６の下に示したのは、図５（Ｃ）と同様の位置対応画像２０４を時刻に従って並べることにより構成される動画、すなわち移動検出画像２１２である。また、以下の説明では物体とは車両甲１０２であると仮定して説明する。
【００５７】
図７は、図６に示した動画を各時刻に対応するフレーム画像に分けて示したものであり、図７（Ａ）がレーダ画像２０８に、図７（Ｂ）が移動検出画像２１２に対応する。
時刻ｔ１において、ある距離に車両甲１０２が存在することがレーダ型センサ１０４によって計測され、それがレーダ画像２０８（それを構成するフレーム画像のうち時刻ｔ１に対応するフレーム画像２１６）上の表示２０９として表現される。
【００５８】
また、時刻ｔ１よりも後の時刻ｔ３においても同様にレーダ画像２０８（それを構成するフレーム画像のうち時刻ｔ３に対応するフレーム画像２１８）上に表示２１１が現れる。
【００５９】
一方、時刻ｔ１と時刻ｔ３の間の時刻ｔ２においては、実際に車両甲１０２が存在するにもかかわらず、その位置に対応する場所にはレーダ画像２０８（それを構成するフレーム画像のうち時刻ｔ２に対応するフレーム画像２１７）には、車両甲１０２に対応する表示がない。これは、周りの構造物（路面や他の車両など）からの反射波による干渉などの原因で、時刻ｔ２において、車両甲１０２が存在する位置をレーダ型センサ１０４が検知することができなかったためである。図６および図７では、このように表示が消えてしまうことを、消滅ポイント２１０として点線で示している。
【００６０】
このように、レーダ型センサ１０４のみを利用していると、測定対象物体が突然消滅したかのような結果（レーダ画像２０８）が得られることがあり、移動の検出における精度の悪化につながる。
【００６１】
一方、本発明の移動検出画像生成装置が移動検出画像２１２を生成する場合、時刻ｔ２においてレーダ型センサ１０４が車両甲１０２の位置を検知不能であっても、必要に応じて、時刻ｔ２における位置対応画像２２０を内挿によって生成し、移動の認識に利用することができる。
【００６２】
時刻ｔ２においてレーダ型センサ１０４が車両甲１０２の位置（ｙ軸方向の距離Ｌ）を検知することができなかった場合、時刻ｔ２に撮像した撮像画像２０１において抽出すべき部分２１４がどの範囲の画素からなるのかを時刻ｔ２の時点で算出することはできない。しかし、例えば時刻ｔ１と時刻ｔ３における車両甲１０２の位置から、内挿により時刻ｔ２における車両甲１０２の位置を推測し、推測した位置をもとに、時刻ｔ２に撮像した撮像画像２０１において抽出すべき部分２１４がどの範囲の画素からなるのかを算出して当該部分２１４を抽出し、それを推測した位置に対応させて配置した位置対応画像２２０を生成することができる。
【００６３】
つまり、時刻ｔ２においてレーダ型センサ１０４が車両甲１０２の位置を検知することができなかった場合、時刻ｔ２に対応する位置対応画像２２０はリアルタイムには生成されないが、後から内挿（補間）によって生成することができる。それにより、レーダ画像２０８における消滅ポイント２１０のような欠損のない形で、移動検出画像２１２を生成することが可能である。
【００６４】
すなわち、本発明では、レーダ型センサ１０４によって計測された距離のほかにカメラ１０１で撮像した撮像画像２０１も利用可能なので、時刻ｔ２においても対象物である車両甲１０２の情報は完全に失われているわけではない。この点が、レーダ型センサ１０４のみを利用してレーダ画像２０８だけから移動を検出する場合との違いである。したがって、必要なら上記のように時刻ｔ２に撮像した撮像画像２０１を利用し、内挿によって時刻ｔ２に対応する位置対応画像２２０を生成することもできる。
【００６５】
例えば、移動検出画像２１２に適用する認識アルゴリズムによっては、下記（１）よりも（２）の方が入力として適している。つまり、認識アルゴリズムによっては、時刻ｔ２においてレーダ型センサ１０４が車両甲１０２の位置を検知することができなかった場合に、（１）よりも（２）の位置対応画像２２０を含む移動検出画像２１２を使った方が、認識精度が悪化しにくい。よって、必要に応じて上記のように内挿を行えばよい。
【００６６】
（１）時刻ｔ２に対応する位置対応画像２２０では、車両甲１０２の抽出領域に対応する部分が、（消滅ポイント２１０のように）“消滅”した状態になっている。
（２）時刻ｔ２に対応する位置対応画像２２０でも、（内挿による推測なので正確さは保証されないとはいうものの）車両甲１０２の抽出領域に対応する部分２１４を含む。
【００６７】
上記のほかにレーダ画像２０８と比べた移動検出画像２１２の利点としては、各対象物体（例えば各車両）に識別符号をつけることが可能な点がある。この点も、カメラ１０１で撮像した撮像画像２０１を利用していることに起因する利点である。
【００６８】
すなわち、レーダ画像２０８ではある距離に何か物体が存在することしか表現することができないので、異なる２台の車両を区別することはできない。一方、移動検出画像２１２は、撮像画像２０１から抽出した部分に基づいている。よって、異なる２台の車両を色などによって区別して識別符号をつけ、識別符号がついた部分を配置して、各時刻に対応する位置対応画像を生成する（つまり、それらから構成される移動検出画像２１２を生成する）ことが可能である。
【００６９】
次に、図８を参照してレーダ型センサ１０４による距離の計測および走査に関する公知技術について述べ、その後、図９を参照して本発明においてレーダ型センサ１０４が行う走査について具体的に説明する。なお、図８における座標系は、図５（Ａ）等の座標系と直接の関係はない。
【００７０】
図８（Ａ）に示すように、レーダ型センサ１０４は計測軸１０９の方向にミリ波を照射し、その反射波を検知する。それによって、計測軸１０９の方向にある測定対象物体１０８までのミリ波の往復の伝播時間Δｔを計測する。測定対象物体１０８までの距離Ｌは、光速をｃとすると
Ｌ＝（１／２）・ｃ・Δｔ
である。図８（Ａ）では、計測軸１０９とｙ軸の方向が一致しており、計測軸１０９の方向ベクトルのｘ成分とｚ成分は０である。図中の座標系表示に「ｘ／ｚ」とあるのは「ｘ軸またはｚ軸」の意であるが、この例ではｘ軸要素もｚ軸要素も無関係である。
【００７１】
ただし、実際には、測定対象物体１０８への距離が計測可能な測定エリア１１０は、計測軸１０９に対して小さな角度の広がりを有する。レーダ型センサ１０４は、測定エリア１１０内に測定対象物体１０８があるとき、測定対象物体１０８からの反射波を検知することによって測定対象物体１０８までの距離を計測する。
【００７２】
図８（Ｂ）は、レーダ型センサ１０４による走査を説明する図である。本願において「走査」とは、特に断らない限り、計測軸１０９の方向を変えながら、レーダ型センサ１０４が計測用の電波等を照射することである。図８（Ｂ）の座標系表示の「ｘ／ｚ」も「ｘ軸またはｚ軸」の意であるが、例えばｚ軸の場合で説明すると、計測軸１０９の方向ベクトルのｘ成分を常に０に保ちつつ、ｙ成分とｚ成分の比を様々に変えることが「走査」にあたる。走査を行うことにより、測定エリア１１０が拡張されることが図８（Ｂ）から分かる。「ｘ／ｚ」で示した方向がｘ軸の場合は、計測軸１０９のｚ成分を常に０に保ちつつ、ｘ成分とｙ成分の比を様々に変えることが「走査」にあたる。
【００７３】
図９は、図５（Ａ）と同じ座標系を用いてレーダ型センサ１０４が行う走査の方向を示した図であり、ｙｚ平面への射影である。図９では、計測軸１０９の方向を４通りに変える例を示しているが、四つとも計測軸１０９の方向ベクトルのｘ成分は０であり、ｙ成分とｚ成分の比を変えることが走査に相当する。４通りの計測軸１０９のうち一番左側と一番右側とを比較すれば明らかなとおり、走査を行うことによって、ｙ軸方向（つまり道路の道なりの方向）で測定可能な距離の範囲が拡大されている。
【００７４】
ｙ軸方向で測定が必要な範囲がレーダ型センサ１０４の走査によってカバーされるように、レーダ型センサ１０４の設置位置や走査範囲を定めることは、周知の技術である。
次に、図１０を参照して、本発明の移動検出画像生成装置の一実施形態における構成を説明する。
【００７５】
図１０の移動検出画像生成装置は、同期ユニット３０１、センサコントローラ３０２、レーダ型センサ１０４、距離計算部３０４、カメラコントローラ３０３、カメラ１０１、画像メモリ３０９、抽出部分算出部３０５、画像抽出部３０６、画像再構成部３０７、認識部３０８を備える。
【００７６】
図１と図１０の対応は次のとおりである。図１の抽出手段１に相当するのは、抽出部分算出部３０５と画像抽出部３０６である。抽出部分算出部３０５が距離計算部３０４から距離（位置情報）を取得し、画像抽出部３０６が画像メモリ３０９から撮像画像２０１を取得する。図１の生成手段２に相当するのは、画像再構成部３０７である。画像抽出部３０６が抽出した部分が画像再構成部３０７に入力され、画像再構成部３０７が当該部分を利用して移動検出画像を生成する。
【００７７】
図１０に示した構成要素のうち図１に対応する構成要素がないものは、本発明の移動検出画像生成装置自体が備えるべき必須の構成要素ではない。具体的には以下のとおりである。
【００７８】
図１０のカメラコントローラ３０３、カメラ１０１、画像メモリ３０９は、画像抽出部３０６に撮像画像２０１を供給するためのものである。撮像画像２０１は、移動検出画像生成装置の外部から供給されてもよいが、図１０の実施形態では移動検出画像生成装置自体が撮像画像２０１の撮像を行っている。また、図１０のセンサコントローラ３０２、レーダ型センサ１０４、距離計算部３０４は、抽出部分算出部３０５に距離を入力するためのものである。位置情報の一例である距離は、移動検出画像生成装置の外部から供給されてもよいが、図１０の実施形態では移動検出画像生成装置自体が距離の測定を行っている。このことから、図１０の移動検出画像生成装置はさらに、撮像と距離の測定を同期するための同期ユニット３０１を備えている。また、撮像画像２０１の供給に使われる画像メモリ３０９は、画像再構成部３０７が生成した移動検出画像を格納するのにも使われる。そして、図１０の実施形態における移動検出画像生成装置は、生成した移動検出画像を使って移動を検出するための認識部３０８をさらに備えている。
【００７９】
次に、図１０の各構成要素について詳細に説明する。
カメラ１０１は、例えばＣＣＤカメラ、ＭＯＳ（Metal Oxide Semiconductor）型カメラ等の光学カメラであり、光分布を電気信号に変換して光学的な撮像を行う。カメラ１０１は可視光線を撮像するカメラでもよく、赤外線や紫外線を撮像するカメラでもよい。また、カメラ１０１は一定のフレームレートで動画を撮像する。動画を構成する個々のフレーム画像が撮像画像２０１に相当する。
【００８０】
カメラ１０１は、カメラコントローラ３０３によって、記録時間、露光量、ホワイトバランス、カメラぶれ抑制等が制御されている。
画像メモリ３０９は、カメラ１０１が撮像した動画（撮像画像２０１からなる動画）や、画像再構成部３０７が生成した移動検出画像を格納する記憶装置である。例えば、フラッシュメモリ等を画像メモリ３０９として利用することができる。
【００８１】
レーダ型センサ１０４としては、例えばミリ波を照射するミリ波レーダが好適だが、ミリ波以外の電波や超音波を照射するものでもよい。レーダ型センサ１０４は、照射した波（電波や超音波）が物体で反射した反射波を受信する。
【００８２】
センサコントローラ３０２はレーダ型センサ１０４を制御する。レーダ型センサ１０４がミリ波レーダの場合、分解能や走査の範囲を制御するとともに、走査の仕方に応じてミリ波のビームを照射する角度やタイミング等の制御を行う。
【００８３】
距離計算部３０４は、レーダの応答時間（すなわちＴＯＦ）から、レーダ型センサ１０４と対象物との距離を算出する。さらに、その距離とレーダ型センサ１０４の計測軸１０９の方向とから、図４や図５におけるｙ軸方向の距離Ｌを算出する。そして、算出した距離Ｌを抽出部分算出部３０５に出力する。
【００８４】
同期ユニット３０１は、撮像画像２０１の撮像と距離の計測を同期するためにカメラコントローラ３０３とセンサコントローラ３０２に同期信号を出力する。カメラコントローラ３０３とセンサコントローラ３０２は、入力された同期信号にしたがって、それぞれカメラ１０１とレーダ型センサ１０４を制御する。
【００８５】
抽出部分算出部３０５は、画像抽出部３０６で抽出すべき部分（抽出領域に対応する部分）を算出して決定する（図５（Ｂ）参照）。つまり、距離計算部３０４から入力されたｙ軸方向の距離Ｌと、抽出領域を示すための所定の値（図５のＨおよびΔＺ）とから、抽出すべき撮像画像２０１上の画素の範囲を算出する。その際、カメラ１０１の設置角等の予め計測済みの情報を用いることは前述のとおりである。
【００８６】
画像抽出部３０６は、画像メモリ３０９から読み出した撮像画像２０１から、抽出部分算出部３０５により決定された部分を抽出し、画像再構成部３０７に出力する。
画像再構成部３０７は、画像抽出部３０６から出力された部分を距離に対応させて図５（Ｃ）のような位置対応画像２０４を生成する。そして、当該位置対応画像２０４のもととなった撮像画像２０１の撮像時刻と対応させて当該位置対応画像２０４を画像メモリ３０９に格納する。個々の時刻に対応して生成した位置対応画像２０４を時刻に従って並べることにより、動画である移動検出画像が構成される。つまり、１枚の位置対応画像２０４は１枚のフレーム画像に相当し、複数の位置対応画像２０４（フレーム画像）から移動検出画像（動画）が構成される。したがって、画像再構成部３０７は移動検出画像を生成しているとも言える。
【００８７】
認識部３０８は画像メモリ３０９に格納された移動検出画像を読み出し、移動検出画像に対して画像認識処理を行うことにより、車両の移動を検出する。移動として検出するものは、実施の形態によって、例えば、個々の車両の速度や加速度でもよく、車流の流量でもよい。また、認識部３０８が行う認識処理のアルゴリズムは任意のものでよい。例えば、移動検出画像（動画）を構成する個々のフレーム画像である位置対応画像２０４に対して、コントラストに基づくエッジ抽出を行い、抽出したエッジから物体（車両）の位置を特定し、特定した位置がフレーム毎にどのように変化するかによって移動を検出してもよい。
【００８８】
なお、図１０に示した構成要素は、ハードウェア、ソフトウェア、ファームウェアのいずれにより実現してもよい。例えば、各構成要素は、それぞれ別個のハードウェアにより実現することも可能である。あるいは、複数の構成要素を、それらに共通のハードウェアと、それらの構成要素の機能を実現するソフトウェアとによって実現することも可能である。
【００８９】
例えば、同期ユニット３０１、センサコントローラ３０２、カメラコントローラ３０３、距離計算部３０４、抽出部分算出部３０５、画像抽出部３０６、画像再構成部３０７、認識部３０８のハードウェアは共通でもよい。例えば、ＲＯＭ（Read Only Memory）などの不揮発性メモリと、ＲＡＭ（Random Access Memory）などの揮発性メモリと、ＣＰＵ（Central Processing Unit）とを備えるコンピュータによってこれらの構成要素の機能を実現することができる。すなわち、不揮発性メモリが各構成要素の機能を実現するプログラムを格納し、ＣＰＵがそのプログラムを読み出して揮発性メモリをワーク用に用いながら該プログラムを実行することにより、これらの構成要素の機能が実現される。
【００９０】
図１１は、図１０の移動検出画像生成装置が行う処理の流れを表すフローチャートである。図１１の処理を大まかに説明すると、移動検出画像生成装置の設置時にステップＳ１０１を実行し、その後の運用においてはステップＳ１０２〜Ｓ１０９を繰り返し実行する。ステップＳ１０２〜Ｓ１０９からなる処理は、まず、ステップＳ１０２の処理と、ステップＳ１０３〜Ｓ１０５からなる処理を並行して実行し、双方の処理が終了してからステップＳ１０６〜Ｓ１０９を実行するようになっている。
【００９１】
ステップＳ１０１では、レーダ型センサ１０４とカメラ１０１の設置位置を設定する。ここで「設定」とは、レーダ型センサ１０４とカメラ１０１を設置し、その正確な設置位置や設置角度、相互の位置関係（これらをまとめてジオメトリともよぶ）を予め計測し、カメラコントローラ３０３、センサコントローラ３０２、距離計算部３０４に記憶させることを指す。ステップＳ１０１は手作業を含むことがある。ステップＳ１０１の実行後は、ステップＳ１０２〜Ｓ１０９の処理が自動的に繰り返し実行される。
【００９２】
ステップＳ１０２では、カメラコントローラ３０３がカメラ１０１を制御して撮像画像２０１を撮像させ、撮像画像２０１を画像メモリ３０９に格納させる。本実施形態におけるカメラ１０１のフレームレートは３０ｆｐｓである。すなわち、ステップＳ１０２〜Ｓ１０９の繰り返しループは、１／３０秒≒３３ｍｓｅｃごとに一回りして実行される。
【００９３】
ステップＳ１０２の実行と並行して、ステップＳ１０３〜Ｓ１０５の繰り返しループが実行される。このように並行して実行するために、同期ユニット３０１が同期信号をセンサコントローラ３０２とカメラコントローラ３０３に出力している。
【００９４】
ステップＳ１０３では、レーダ型センサ１０４が計測軸１０９の方向にミリ波を投射（照射）する。投射されたミリ波は、例えば路上の車両甲１０２によって反射され、レーダ型センサ１０４が反射波を検知する。
【００９５】
レーダ型センサ１０４は反射波を検知すると、ステップＳ１０４においてＴＯＦを計測する。また、ステップＳ１０４では距離計算部３０４が、計測されたＴＯＦから、ｙ軸方向の車両甲１０２との距離Ｌ（図５（Ａ）参照）を算出する。その後、処理はステップＳ１０５に移行する。
【００９６】
ステップＳ１０５では、ステップＳ１０３〜Ｓ１０５の繰り返しループが所定の回数繰り返されたか否かをセンサコントローラ３０２が判定する。所定の回数未満なら判定は「いいえ」となってステップＳ１０３に戻る。所定の回数に達していれば判定は「はい」となって、距離計算部３０４が算出した距離Ｌを抽出部分算出部３０５に出力し、ステップＳ１０２の実行終了と同期してステップＳ１０６に移行する。
【００９７】
なお、所定の回数とは例えば５回である。上記のように、カメラ１０１のフレームレートは３０ｆｐｓであり、フレーム間隔（すなわち撮像画像２０１の撮像間隔）は約３３ｍｓｅｃである。一方、センサコントローラ３０２がレーダ型センサ１０４の計測軸１０９を変化させて走査する場合（図９参照）、ある計測軸１０９に関して距離Ｌを算出し、計測軸１０９を次の角度に変更するのに数ｍｓｅｃしかかからない。したがって、一つの撮像画像２０１の撮像に対応して、走査を行って例えば５通りの計測軸１０９に関して距離Ｌを算出することが時間的に可能である。
【００９８】
また、ステップＳ１０３〜Ｓ１０５を１回実行するごとに、車両甲１０２の位置は変化するが、その変化量は車両甲１０２の大きさに比べて十分に小さいため、考慮しなくても問題がない。したがって、１つの撮像画像２０１に対応してステップＳ１０４において距離が５回算出されたとしても、それらの距離は誤差範囲内で等しいと見なして差し支えない。よって、以降のステップにおいて用いる距離Ｌとして、実装上は例えば５回の平均値を用いてもよく、５回のうちの１回分の値だけを用いてもよいが、いずれにしろ、ステップＳ１０２で撮像した撮像画像２０１に対応して一つの距離Ｌの値が対応する。そしてその距離Ｌが、距離計算部３０４から抽出部分算出部３０５に出力される。
【００９９】
上記のようにして、１枚のフレーム画像である撮像画像２０１を撮像して画像メモリ３０９に格納し、それと並行して、当該撮像画像２０１に対応する距離Ｌを抽出部分算出部３０５に出力したら、ステップＳ１０６に移行する。
【０１００】
ステップＳ１０６では、抽出部分算出部３０５が、カメラ１０１の設置角と入力された距離Ｌに基づいて、予め決められている抽出領域に撮像画像２０１のどの部分が対応するかを算出する。算出結果は画像抽出部３０６に出力され、処理はステップＳ１０７に移行する。
【０１０１】
ステップＳ１０７では、画像抽出部３０６が画像メモリ３０９から撮像画像２０１を読み出し、抽出部分算出部３０５により算出された部分を撮像画像２０１から抽出する。
なお、抽出領域を規定するＨとΔＺの具体的な値は実施形態に応じて適宜定めることができるが、以下を考慮して定めることが好ましい。
【０１０２】
Ｈをあまり大きく定めると小型車の検出漏れがありうる。そこで、Ｈの値は、一般的な車両のタイヤの直径よりも小さな値とすることが望ましい。そうすれば、Ｈよりも車高の低い車両は存在しないと考えられるので、検出漏れの可能性が大きく低下する。
【０１０３】
また、ΔＺは、カメラ１０１の解像度、カメラ１０１やレーダ型センサ１０４の設置位置や設置角、認識部３０８の認識手法などから決定する。例えば、ある認識手法では、ΔＺに対応する画素数がｎ以上であれば、位置対応画像２０４から車両甲１０２の移動を検出可能であるとする。また、カメラ１０１の設置位置や設置角から、図５（Ａ）においてカメラ１０１が撮像するｙ軸方向の範囲（ｙ１≦ｙ≦ｙ２）が計算可能である。カメラ１０１から見て、ｙ２のほうがｙ１より遠い側であるとすると、ｙ＝ｙ２なる位置においてΔＺに対応する画素数がｎ以上となるようにΔＺを定める。このようにすれば、カメラ１０１の撮像範囲のうち最も遠い位置（したがって、同じ物体が最も小さく撮像される位置）においても、ΔＺに対応する画素数として必要最低限の画素数を確保することができる。
【０１０４】
ステップＳ１０７において目的の部分を撮像画像２０１から画像抽出部３０６が抽出したら、処理はステップＳ１０８に移行する。
ステップＳ１０８では、抽出された部分が画像再構成部３０７に入力され、画像再構成部３０７はその部分を距離Ｌに対応させて位置対応画像２０４を生成する。そして、画像再構成部３０７は、位置対応画像２０４のもととなった撮像画像２０１の撮像時刻と関連付けて、位置対応画像２０４を画像メモリ３０９に格納する。これによって、個々の時刻に対応するフレーム画像としての位置対応画像２０４が画像メモリ３０９に蓄積される。よって、それらの位置対応画像２０４から構成される移動検出画像が画像メモリ３０９に格納された状態となる。位置対応画像２０４の格納後、ステップＳ１０９に移行する。
【０１０５】
なお、ステップＳ１０６〜Ｓ１０８の処理ではパターン認識などの複雑な画像処理を行っていないため、１フレームの撮像ごとという短時間でも実行可能である。すなわち、本発明によれば実時間で移動検出画像を生成することが可能である。
【０１０６】
ステップＳ１０９では、認識部３０８が画像メモリ３０９から移動検出画像を読み出し、車流を認識する。認識処理を終えたら、ステップＳ１０２およびＳ１０３に戻る。
なお、認識部３０８の認識アルゴリズムは任意のアルゴリズムでかまわない。認識アルゴリズムによっては、図１１のように１フレームの撮像ごとに車流の認識を行うのではなくてもよい。その場合、移動検出画像の生成（ステップＳ１０８の終了後にステップＳ１０２およびＳ１０３に戻り、ステップＳ１０２〜Ｓ１０８を繰り返し実行する）とは独立して並行に、車流の認識処理（ステップＳ１０９に相当）を行ってもよい。
【０１０７】
図１２は本発明の移動検出画像生成装置の別の実施形態による構成図である。図１２に示した構成は、図１０の一部を変更したものである。以下、主に相違点を説明する。
図１０の画像再構成部３０７が図１２にはなく、代わりに部分強調部３１１と画像合成部３１２が追加されている。また、図１２には第二画像メモリ３１０が追加されている。
【０１０８】
図１２において、カメラ１０１が撮像した撮像画像２０１は、画像メモリ３０９だけでなく第二画像メモリ３１０にも格納される。カメラコントローラ３０３が行う制御も、それに合わせて変更されている。
【０１０９】
第二画像メモリ３１０も画像メモリ３０９と同様に、例えばフラッシュメモリを利用することができる。なお、一つの記憶装置のある領域を画像メモリ３０９として利用し、別の領域を第二画像メモリ３１０として利用することによって、画像メモリ３０９と第二画像メモリ３１０を実現してもよい。画像メモリ３０９には、複数のフレーム画像からなる動画が蓄積されるが、第二画像メモリ３１０には、１フレーム分の画像だけが格納されるため、図１２では分けて示してある。
【０１１０】
図１の抽出手段１に相当するのは、図１０の場合と同様に、抽出部分算出部３０５と画像抽出部３０６である。
図１の生成手段２に相当するのは、部分強調部３１１と画像合成部３１２である。部分強調部３１１は、画像抽出部３０６が抽出した部分を入力として受け取り、その部分を強調する加工を行う。そして、画像合成部３１２が、その加工された部分と第二画像メモリ３１０に格納されている撮像画像２０１とを重畳して合成し、図５（Ｄ）のような識別画像２０７を生成する。画像合成部３１２はさらに、生成した識別画像２０７を画像メモリ３０９に格納する。
【０１１１】
すなわち、図１２の実施形態では、識別画像２０７（フレーム画像）からなる移動検出画像（動画）を生成している。
なお、図１０の場合と同様に、図１２の構成要素は、ハードウェア、ソフトウェア、ファームウェアのいずれにより実現してもよい。
【０１１２】
図１３は、図１２の移動検出画像生成装置が行う処理の流れを表すフローチャートである。図１３は図１１とほぼ同様である。異なるのは、図１１のステップＳ１０２に相当するステップＳ２０２の直後にステップＳ２０３が挿入されている点と、図１１のステップＳ１０８がステップＳ２０９に置換されている点である。以下、この二つのステップについて説明する。
【０１１３】
ステップＳ２０３では、ステップＳ２０２においてカメラ１０１が撮像した撮像画像２０１を第二画像メモリ３１０にも格納し、ステップＳ２０４〜Ｓ２０６の繰り返しループの終了と同期してステップＳ２０７に移行する。
【０１１４】
ステップＳ２０９では、まず、画像抽出部３０６が抽出した部分を部分強調部３１１が入力として受け取り、その部分を強調して画像合成部３１２に出力する。そして、画像合成部３１２が、部分強調部３１１からの入力と第二画像メモリ３１０から読み出した撮像画像２０１とを重畳し、図５（Ｄ）のような識別画像２０７を生成し、画像メモリ３０９に格納する。図５（Ｄ）の例では当該部分を黒く塗りつぶすことが強調に相当するが、強調の仕方はこれに限らない。
【０１１５】
例えば、強調用の所定の色として黒以外の任意の色を採用してもよい。また、塗りつぶすのではなく、当該部分を枠線で囲うなど他の方法により強調してもよい。あるいは、当該部分とその周囲とのコントラストが大きくなるように、当該部分やその周辺部分について画素の輝度や色等を変更する処理を行うことにより、当該部分を強調してもよい。
【０１１６】
また、これらの方法は、人間も当該部分を容易に視認することができるように強調する方法だが、識別画像２０７は人間には認識不可能（または認識困難）な画像であってもよい。つまり、識別画像２０７は、認識部３０８が移動を認識しやすいように加工された画像であればよく、当該部分を強調する以外の方法で加工することにより識別画像２０７を生成してもよい。例えば、付加情報として数値を含むことが可能なデータ形式の画像データとして識別画像２０７を生成し、当該部分に相当する画素の範囲を付加情報として記録してもよい。
【０１１７】
いずれの場合も、ステップＳ２０９においては強調などの加工を行うべき部分は既に抽出されている。そして、抽出すべき部分はステップＳ２０７において決定されるが、カメラ１０１の設置角、距離Ｌ、抽出領域を示すＨとΔＺなどから単純に決定することができる。したがって、図１１の場合と同様に、特段の複雑な画像処理を行うことなく、実時間で識別画像２０７を生成することが可能である。
【０１１８】
なお、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
移動を検出する対象物は車両でなくてもよい。
【０１１９】
また、カメラ１０１とレーダ型センサ１０４の適切な設置位置および設置角度は、様々な要因によって変わり、実施の形態によって様々である。その要因としては、道路の規制による制限や、カメラ１０１の画角などがある。また、例えば、同じカメラ１０１を利用する場合であっても、光軸１０６が水平方向に対して垂直に近いほど、ｙ軸方向の分解能が高まる。一方、レーダ型センサ１０４は、鉛直方向に近い角度でミリ波を照射すると、車両からの反射波よりも路面からの反射波のほうが強くなってしまうので、水平方向に近い角度に設置することが好ましい。これらのことを総合的に勘案して、カメラ１０１とレーダ型センサ１０４の適切な設置位置および設置角度を決めることが望ましい。
【０１２０】
上記においては、路面が水平である（ｚ＝０なる平面である）と仮定していたが、路面が水平でなくても、傾斜角に応じて適宜上記実施形態を変形することにより、本発明の移動検出画像生成装置を利用することができる。
【０１２１】
レーダ型センサ１０４では、ミリ波以外の電波を利用してもよく、超音波を利用したレーダを使って距離を測定してもよい。また、レーダ以外の手段で距離を測定してもよい。また、走査を行うには機械的な手段で電波等の照射方向を変化させる方法や、照射方向の異なる複数の照射器を電気的に切り替える方法などがあるが、どのような手段で走査を行ってもかまわない。
【０１２２】
また、図８のように計測軸１０９の方向ベクトルのうちの一つの成分を０に保って走査を行うのではなく、ｘ成分、ｙ成分、ｚ成分をそれぞれ変化させて走査を行ってもよい。
なお、そのような走査を行うとより走査に時間がかかる。また、レーダ型センサ１０４の種類等によっては、走査のために計測軸１０９を変化させるのに時間がかかる。また、図９における走査は、４通りの計測軸１０９で計測することに対応するが、例えば１０通りの計測軸１０９で計測する場合などは、より時間がかかる。図１１のステップＳ１０５や図１３のステップＳ２０６における所定の回数は、上記の例では５回だが、５回より少なくても多くてもかまわない。
【０１２３】
このように、距離の計測に時間がかかる場合等は、図１１や図１３のフローを変更してもよい。例えば、図１１において、ｎ番目のフレーム画像である撮像画像２０１をステップＳ１０２で撮像すると、その直後のステップＳ１０６〜Ｓ１０９でｎ番目の撮像画像２０１に対応する処理を行っている。つまり、ステップＳ１０２とステップＳ１０６〜Ｓ１０９との関係は直列的である。しかし、別の実施形態では、ｎ番目の撮像画像２０１の撮像および格納（ステップＳ１０２）と、それに対応する距離の計測（ステップＳ１０３〜Ｓ１０５）と、既に画像メモリ３０９に格納されている（ｎ−１）番目の撮像画像２０１に対する処理（ステップＳ１０６〜Ｓ１０９）と、を並行して行うようにしてもよい。そのようにフローを変更することで、必要な処理時間を確保することが可能となる。なお、このように（ｎ−１）番目の撮像画像２０１に対する処理を遅らせる場合、遅延時間は上記のように１フレーム分の時間でもよいが、任意の時間遅らせてもよい。
【０１２４】
また、図６および図７を参照して説明した内挿を行う場合にも遅延が生じる。例えば、（ｎ−２）番目のフレームの撮像が時刻ｔ１に対応し、（ｎ−１）番目のフレームの撮像が時刻ｔ２に対応し、ｎ番目のフレームの撮像が時刻ｔ３に対応するとする。このとき、（ｎ＋１）番目の撮像画像２０１（フレーム画像）の撮像と並行して、時刻ｔ１とｔ３における距離から内挿によって時刻ｔ２における距離を推測し、（ｎ−１）番目の撮像画像２０１から位置対応画像２２０を生成してもよい。この場合、（ｎ−１）番目の撮像画像２０１に対する処理が（ｎ＋１）番目のフレームの撮像と並行しているから、遅延時間は２フレーム分の時間である。
【０１２５】
また、移動を検出する対象の物体の位置を表す位置情報は、ｙ軸方向の距離Ｌ以外の任意の情報であってもよい。つまり、当該位置において高さが所定の範囲内の領域が、撮像画像２０１のどの部分に対応するのかを算出することさえ可能であればよい。
【０１２６】
また、位置対応画像２０４は、抽出した部分が位置に対応付けられて配置された画像であればよい。図５（Ｃ）では、位置はｙ軸方向の距離によって表され、現実世界におけるｙ軸方向が位置対応画像２０４の横方向に対応している。そして、現実世界における距離を一定の比率で位置対応画像２０４の横方向の画素数に対応させて、抽出した部分を配置している。しかし、位置との対応付けの仕方はこれ以外の方法でもよい。例えば、距離と画素数の比率は任意に定めてよい。
【０１２７】
また、位置対応画像２０４における背景画像も任意である。位置対応画像２０４を個々のフレーム画像として構成される移動検出画像２１２が、認識部３０８で認識されやすいような背景画像とすることが望ましいが、それ以外の制約条件は特にない。
【０１２８】
さらに、位置対応画像２０４においては、単に抽出した部分の画像そのものを並べるのではなく、抽出した部分を加工した画像を並べてもよい。例えば、車両の識別が容易となるように、抽出した部分に、車両ごとに異なる印（色などで区別された印）を付加してから並べてもよい。
【０１２９】
なお、上記の説明では、抽出領域を規定する高さＨと幅ΔＺの値が定数であることを仮定していた。しかし、ΔＺは定数でなくてもよい。例えば、ΔＺをある定数とした場合、図５（Ａ）において、ある距離ではΔＺが撮像画像２０１の５画素に相当し、それより遠いある距離ではΔＺが撮像画像２０１の２画素に相当するかもしれない（遠くの物体ほど小さく写るので）。認識部３０８の認識手法によっては、ΔＺに対応する画素数がこのように距離Ｌによって異なることが不都合かもしれない。その場合、距離Ｌに対応してΔＺの値を変化させることによって、画像抽出部３０６が抽出する部分のΔＺに対応する画素数が一定となるようにしてもよい。
【０１３０】
以上説明したことを概観すれば本発明は以下のような構成を備えるものである。
（付記１）
道路上の物体の移動の検出に用いる動画像である移動検出画像を生成する移動検出画像生成装置であって、
前記物体を光学的に逐次撮像して得た複数の撮像画像より、前記物体を撮像した時刻における前記道路の路面上での該物体の位置を示す位置情報に基づいて、該時刻での該位置における前記路面からの高さが所定の範囲内の領域が写っている部分を抽出する抽出手段と、
前記部分を加工した画像を前記時刻に従って並べて前記移動検出画像を生成する生成手段と、
を備えることを特徴とする移動検出画像生成装置。
（付記２）
前記生成手段は、前記部分に対応する画像を前記位置に対応付けて配置した位置対応画像を生成する位置対応画像生成手段を備え、
前記生成手段は、前記位置対応画像を前記時刻に従って並べて前記移動検出画像を生成する、
ことを特徴とする付記１に記載の移動検出画像生成装置。
（付記３）
前記生成手段は、前記撮像画像において前記部分を識別することができるように加工した識別画像を生成する識別画像生成手段を備え、
前記生成手段は、前記識別画像を前記時刻に従って並べて前記移動検出画像を生成する、
ことを特徴とする付記１に記載の移動検出画像生成装置。
（付記４）
前記識別画像生成手段が行う加工は、前記部分の画像の強調であることを特徴とする付記３に記載の移動検出画像生成装置。
（付記５）
前記移動検出画像に基づいて前記物体の移動を認識する移動認識手段をさらに備えることを特徴とする付記１から４のいずれか一項に記載の移動検出画像生成装置。
（付記６）
前記撮像画像を撮像する撮像装置は、光軸が前記路面に対して一定の角度となるように固定されており、
前記抽出手段は、前記領域に含まれる点からの反射光の方向と前記光軸とがなす角度を算出することにより、前記撮像画像から抽出すべき前記部分を決定する、
ことを特徴とする付記１に記載の移動検出画像生成装置。
（付記７）
前記物体の前記位置は、レーダ型センサにより計測された、該レーダ型センサから該物体までの距離によって示されることを特徴とする付記１に記載の移動検出画像生成装置。
（付記８）
前記レーダ型センサは、距離を計測する方向である計測軸の方向を変えて走査を行いながら、前記撮像画像の撮像間隔よりも短い所定の間隔で前記物体への前記距離を計測し、
前記所定の間隔による所定の回数分の時間が、前記撮像画像の一撮像間隔と等しくなるように、前記撮像画像の撮像と前記距離の計測が同期されている、
ことを特徴とする付記７に記載の移動検出画像生成装置。
（付記９）
前記道路の幅方向に平行な軸をｘ軸とし、前記道路の路面に平行であって前記ｘ軸に垂直な軸をｙ軸とし、前記路面に対して鉛直な方向の軸をｚ軸としたとき、前記走査は、前記計測軸の方向ベクトルのうちｙ成分とｚ成分の比を変化させる走査であることを特徴とする付記８に記載の移動検出画像生成装置。
（付記１０）
前記レーダ型センサはミリ波を照射し、反射波を検出することによって距離を計測することを特徴とする付記７に記載の移動検出画像生成装置。
（付記１１）
前記撮像画像を撮像した時刻ｔ２に対応する、前記レーダ型センサによる前記距離の計測が失敗したとき、
前記抽出手段は、時刻ｔ２よりも前の時刻ｔ１と時刻ｔ２よりも後の時刻ｔ３にそれぞれ対応して計測された距離から、時刻ｔ２における前記距離を推測し、該距離に基づいて、時刻ｔ２に撮像した前記撮像画像から前記部分を抽出する、
ことを特徴とする付記７に記載の移動検出画像生成装置。
（付記１２）
道路上の物体の移動の検出に用いる動画像である移動検出画像を生成する移動検出画像生成方法であって、
前記物体を光学的に逐次撮像して得た複数の撮像画像より、前記物体を撮像した時刻における該物体の位置を示す位置情報に基づいて、該時刻での該位置における前記道路の路面からの高さが所定の範囲内の領域が写っている部分を抽出する抽出ステップと、
前記部分を加工した画像を前記時刻に従って並べて前記移動検出画像を生成する生成ステップと、
を備えることを特徴とする移動検出画像生成方法。
【図面の簡単な説明】
【０１３１】
【図１】本発明の原理を示す図である。
【図２】移動検出画像生成装置が利用する撮像画像および位置情報の取得方法と、抽出手段が抽出する部分について説明する概略図である。
【図３】光切断法による高さの計測方法を説明する図である。
【図４】抽出手段による抽出の原理を説明する図である。
【図５】移動検出画像生成装置による移動検出画像の生成について説明する図である。
【図６】移動検出画像とレーダ画像を比較した図である。
【図７】移動検出画像とレーダ画像を比較した図である。
【図８】レーダ型センサによる距離の計測および走査を説明する図である。
【図９】レーダ型センサが行う走査の方向を示した図である。
【図１０】移動検出画像生成装置の一実施形態における構成図である。
【図１１】図１０の移動検出画像生成装置が行う処理の流れを表すフローチャートである。
【図１２】移動検出画像生成装置の他の実施形態における構成図である。
【図１３】図１２の移動検出画像生成装置が行う処理の流れを表すフローチャートである。
【図１４】従来の方法を説明する図である。
【符号の説明】
【０１３２】
１  抽出手段
２  生成手段
１０１  カメラ
１０２  車両甲
１０３  車両乙
１０４  レーダ型センサ
１０５  測定エリア
１０６  光軸
１０７  レーザ光
１０８  測定対象物体
１０９  計測軸
１１０  測定エリア
２０１  撮像画像
２０３  取得画像
２０４  位置対応画像
２０５、２０６  部分
２０７  識別画像
２０８  レーダ画像
２０９、２１１  表示
２１０  消滅ポイント
２１２  移動検出画像
２１３〜２１５  部分
２１６〜２１８  レーダ画像のフレーム画像
２１９〜２２１  位置対応画像
３０１  同期ユニット
３０２  センサコントローラ
３０３  カメラコントローラ
３０４  距離計算部
３０５  抽出部分算出部
３０６  画像抽出部
３０７  画像再構成部
３０８  認識部
３０９  画像メモリ
３１０  第二画像メモリ
３１１  部分強調部
３１２  画像合成部
【図１】
2008059260.tif 000003
【図２】
2008059260.tif 000004
【図３】
2008059260.tif 000005
【図４】
2008059260.tif 000006
【図５】
2008059260.tif 000007
【図６】
2008059260.tif 000008
【図７】
2008059260.tif 000009
【図８】
2008059260.tif 000010
【図９】
2008059260.tif 000011
【図１０】
2008059260.tif 000012
【図１１】
2008059260.tif 000013
【図１２】
2008059260.tif 000014
【図１３】
2008059260.tif 000015
【図１４】
2008059260.tif 000016