(57)【要約】【課題】不動対象の周期、不動対象の動き及び移動対象の動きを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を軽い処理で高精度に計測する速度計測方法を提供する。【解決手段】白線画像及び白線画像の周波数特性を作成した（ステップＳ９）後、車線境界線の周期を検出し（ステップＳ１０）、車線境界線の動きベクトルを検出し（ステップＳ１１）、動物体画像を作成し（ステップＳ１２）、車両の座標及び動きベクトルを検出し（ステップＳ１３）、車両の速度を計算する（ステップＳ１４）。次に、フレーム番号のカウンタが上限値であるか否かを判定し（ステップＳ１５）、カウンタが上限値でない場合には、ステップＳ８に戻り、カウンタが上限値である場合には、車両の速度の平均値を計算する（ステップＳ１６）。【選択図】図１
2008249685.tif 000002
【特許請求の範囲】
【請求項１】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
【請求項２】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴを用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
【請求項３】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項４】
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項５】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項６】
前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする請求項２記載の速度計測方法。
【請求項７】
前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項２記載の速度計測方法。
【請求項８】
前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関開数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
【請求項９】
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項２記載の速度計測方法。
【請求項１０】
前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。
【背景技術】
【０００２】
空撮画像を用いて移動対象（例えば、車両）の速度を計測する速度計測技術は、これまでにも提案されている（例えば、特許文献１）。
【０００３】
このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両（移動対象）と車線境界線（不動対象）とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
【特許文献１】特開平１１−２９６７８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
要約すれば、特許文献１の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果（実測値）を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果（計測値）も高精度となるし、個々の実測が軽い処理（計算量の少ない処理）であるのなら、計測全体も軽い処理となる。
【０００５】
特許文献１の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法（実測方法１）を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の２億画像を画像処理する方法（実測方法２）を採用している。実測方法１の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に重い処理（計算量の多い処理）であるということである。実測方法２の短所は、２値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。
【０００６】
本発明の目的は、不動対象の周期、不動対象の動き及び移動対象の動きを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を軽い処理で高精度に計測する速度計測方法を提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の
動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。
【０００８】
請求項２の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴ（Fast Fourier Transform:高速フーリエ変換）を用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴ(Inverse FFT)を用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。
【０００９】
請求項３の発明による速度計測方法は、前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。
【００１０】
請求項４の発明による速度計測方法は、前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。
【００１１】
請求項５の発明による速度計測方法は、
前記移動対象の座榛の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。
【００１２】
請求項６の発明による速度計測方法は、前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする。
【００１３】
請求項７の発明による速度計測方法は、前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。
【００１４】
請求項８の発明による速度計測方法は、前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関開数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。
【００１５】
請求項９の発明による速度計測方法は、前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。
【００１６】
請求項１０の発明による速度計測方法は、前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。
【発明の効果】
【００１７】
請求項１の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【００１８】
このように、請求項１の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【００１９】
請求項２の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象画像の周波数特性をＦＦＴを用いて作成し、不動対象の周期を、不動対象画像及び不動対象画像の周波数特性を用いて検出し、不動対象の動きベクトルを、不動対象画像の周波数特性及びＩＦＦＴを用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【００２０】
このように、請求項２の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の周波数特性を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像間の相関積分ではなく、不動対象画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【００２１】
請求項３の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。
【００２２】
このように、請求項３の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。
【００２３】
請求項４の発明によれば、請求項２の発明に加えて更に、移動対象の速度の平均値を計算している。
【００２４】
このように、請求項４の発明では、請求項２の発明の効果に加えて更に、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。
【００２５】
請求項５の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。
【００２６】
このように、請求項５の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。
【００２７】
請求項６の発明によれば、空撮画像をフィルタリングし（手続１）、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し（手続２）、不動対象画像にＦＦＴを適用して不動対象画像の周波数特性を作成している（手続３）。
【００２８】
このように、請求項６の発明では、手続１によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続２によって、それらがより細かく分別され、手続１及び手続２によって、雑音が少ない良質な不動対象画像が作成される。手続３によって、通常のフーリエ変換よりも軽い処理で不動対象画像の周波数特性が作成される。
【００２９】
請求項７の発明によれば、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し（手続４）、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し（手続５）、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し（手続６）、小画像を用いて不動対象の周期を検出している（手続７）。
【００３０】
このように、請求項７の発明では、手続４によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続５によって、不動対象の像が水平化又は垂直化されるので、手続６の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Ｓとし、それ以外の面積を雑音成分Ｎとすると、手続７は、空撮画像又は不動対象画像を用いる方法よりも、Ｓ／Ｎの良い信号処理方法といえる。
【００３１】
請求項８の発明によれば、不動対象画像の周波数特性の複素共役と不動対象画像の周波数特性との横を計算し（手続８）、積にＩＦＦＴを適用して相互相関関数を計算し（手続９）、相互相関関数の最大値の座標の位置ベクトルを不動対象の動きベクトルとしている。
【００３２】
このように、請求項８の発明では、手続８によって、相互相関関数の周波数特性が計算され、手続９によって、相互相関関数が計算され、手続８及び手続９によって、通常の相関積分よりも軽い処理で相互相関関数が計算される。
【００３３】
請求項９の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ（手続１０）、シフト後の画像と空撮画像との差分画像を移動対象画像としている（手続１１）。
【００３４】
このように、請求項９の発明では、手続１０によって、二つの空撮画像間の不動対象の位置が合わされ  手続１１によって、それらの差分画像、すなわち移動対象画像が作成され、手続１０及び手続１１によって、軽い処理で実用上問題のない品質の移動対象画像が作成される。
【００３５】
請求項１０の発明によれば、移動対象画像を用いて移動対象の仮座標及び重心を検出し（手続１２）、仮座標と重心との中点を移動対象の座標とし（手続１３）、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。
【００３６】
このように、請求項１０の発明では、手続１２によって、移動対象の像の形状及び重心という二つの観点から移動対象の仮座標及び重心がそれぞれ検出され、手続１３によって、それらの中点が移動対象の座標とされ、手続１２及び手続１３によって、移動対象の像の形状変化に対応しながら移動対象の座標が高精度に検出される。
【発明を実施するための最良の形態】
【００３７】
本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。
【００３８】
本実施の形態では、空撮画像ｆｉ（図２）は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、ｉはフレーム番号とし、ｆｉの画素値は明度とする。
【００３９】
本実施の形態では、空撮画像ｆｉ及び白線画像ｇｉ（図３）の画素値は、０以上２５５以下（８ピット）の整数とし、それらの画像の画素値を更新する際、新しい画素値が０未満になる場合には、その値を０に丸めるものとし、新しい画素値が２５５を超える場合には、その値を２５５に丸めるものとする。ここで、白線画像ｇｉは、白線以外の像が除去された空撮画像ｆｉとする。
【００４０】
本実施の形態では、動物体画像ｍｉ（図４）の画素値は、−１２８以上１２７以下（８ビット）の整数とし、その画像の画素値を更新する際、新しい画素値が−１２８未満になる場合には、その値を−１２８に丸めるものとし、新しい画素値が１２７を超える場合には、その値を１２７に丸めるものとする。ここで、動物体画像ｍｉは、動物体以外の像が除去された空撮画像ｆｉとする。
【００４１】
図１のフローチャートでは、先ず、フレーム番号のカウンタｉを−１に初期化する（ステップＳ1）。
【００４２】
次に、カウンタｉに１を加算する（ステップＳ２）。
【００４３】
次に、白線画像ｇｉ及び白線画像ｇｉの周波数特性Ｇｉ作成する（ステップＳ３）。
【００４４】
次に、カウンタｉが１であるか否かを判定し（ステップＳ４）、カウンタｉが１でない場合には、ステップＳ２に戻り、カウンタｉが１である場合には、ステップＳ５に進む。
【００４５】
ステップＳ５では、車線境界線の動きベクトルｂｉ（図２）を検出する。
【００４６】
次に、動物体画像ｍｉを作成する（ステップＳ６）。
【００４７】
次に、車両の座標ｐｉ（図２）の初期値ｐ１を検出する（ステップＳ７）。
【００４８】
次に、カウンタｉに１を加算する（ステップＳ８）。
【００４９】
次に、白線画像ｇｉ及び白線画像ｇｉの周波数特性Ｇｉを作成する（ステップＳ９）。
【００５０】
次に、画像上における車線境界線の周期１ｉ（図２）を検出する（ステップＳ１０）。
【００５１】
次に、車線境界線の動きベクトルｂｉを検出する（ステップＳ１１）。
【００５２】
次に、動物体画像ｍｉを作成する（ステップＳ１２）。
【００５３】
次に、車両の座標ｐｉ及び動きベクトルｃｉ（図２）を検出する（ステップＳ１３）。
【００５４】
次に、車両の速度Ｖｉ＝（｜ｃｉ−ｂｉ｜／Ｔ）・（Ｌ／１ｉ）を計算する（ステップＳ１４）。ここで、Ｔはフレーム間隔とし、Ｌは道路上における車線境界線の周期の規定値（高速道路の場合、Ｌ＝２０ｍ）とする。
【００５５】
次に、カウンタｉが上限値ｎであるか否かを判定し（ステップＳ１５）、カウンタｉが上限値ｎでない場合には、ステップＳ８に戻り、カウンタｉが上限値ｎである場合には、ステップＳ１６に進む。
【００５６】
ステップＳ１６では車両の速度の平均値ｖ＝（ｖ２＋ｖ３＋・・・＋ｖｎ）／（ｎ−１）を計算し、このフローチャートを終了する。
【００５７】
図５は、白線画像及び白線画像の周波数特性の作成（ステップＳ３及びステップＳ９）のフローチャートである。
【００５８】
このフローチャートでは、先ず、空撮画像ｆｉの複製画像ｇｉを作成する（ステップＳ１０１）。
【００５９】
次に、画像ｇｉをラプラシアンオペレータ（図６）でフィルタリングする（ステップＳ１０２）。
【００６０】
次に、画像ｇｉ上の微小成分をｐタイル法で除去（画素値を０に）する（ステップＳ１０３）。
【００６１】
次に、画像ｇｉ上の孤立点を除去（画素値を０に）し、孤立点除去後の画像ｇｉを白線画像ｇｉとする（ステップＳ１０４）。ここで、画像ｇｉ上の孤立点は図領域の孤立点とし、図領域は画素値が１以上の領域とする。
【００６２】
次に、白線画像ｇｉにＦＦＴを適用して白線画像ｇｉの周波数特性Ｇｉを作成し（ステップＳ１０５）、このフローチャートを終了する。
【００６３】
図７は、車線境界線の周期の検出（ステップＳ１０）のフローチャートである。
【００６４】
このフローチャートでは、先ず、周波数特性Ｇｉの振幅特性（図８）を作成する（ステップＳ２０１）。
【００６５】
次に、振幅特性をｐタイル法で２値化する（ステップＳ２０２）。
【００６６】
次に、振幅特性の図領域の角度を検出する（ステップＳ２０３）。ここで、振幅特性の図領域はｐタイル法で決定した閾値以上の領域とし、振幅特性の図領域の角度は図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。
【００６７】
次に、白線画像ｇｉを回転させて水平化白線画像（図９）を作成する（ステップＳ２０４）。ここで、白線画像ｇｉを回転させる角度は、振幅特性の図領域の角度に９０゜を加算した角度、又は、減算した角度とする。
【００６８】
次に、水平化白線画像の水平投影像（図９）を作成する（ステップＳ２０５）。
【００６９】
次に、ＦＦＴなどを用いて水平投影像の自己相関関数（図９）を作成する（ステップＳ２０６）。
【００７０】
次に、水平投影像の自己相関関数から車線の幅を検出する（ステップＳ２０７）。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。
【００７１】
次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する（図１０）（ステップＳ２０８）。
【００７２】
次に、すべての小画像の水平投影像（図１１）を作成する（ステップＳ２０９）。
【００７３】
次に、小画像の水平投影像ごとに、水平投影像の最大値を検出する（ステップＳ２１０）。
【００７４】
次に、水平投影像の最大値が措定値以上になっている小画像だけを選出する（ステップＳ２１１）。
【００７５】
次に、選出された小画像の垂直投影像（図１２）を作成する（ステップＳ２１２）。
【００７６】
次に、ＦＦＴなどを用いてすべての垂直投影像の自己相関関数（図１２）を作成する（ステップＳ２１３）。
【００７７】
次に、垂直投影像の自己相関関数ごとに、自己相関関数の諸特性を検出する（ステップＳ２１４）。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。
【００７８】
次に、車線の幅及び指定条件に基づいて（例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている）自己相関関数の諸特性を選出する（ステップＳ２１５）。
【００７９】
次に、選出された自己相関関数の諸特性から車線境界線の周期ｌｉを計算し（ステップＳ２１６）、このフローチャートを終了する。ここで、車線境界線の周期ｌｉは、自己相関関数の隣接ピーク間隔の平均値（撞数個）の平均値とする。
【００８０】
図１３は、車線境界線の動きベクトルの検出（ステップＳ５及びステップＳ１１）のフローチャートである。
【００８１】
このフローチャートでは、先ず、周波数特性Ｇｉ−１の複素共役を作成する（ステップＳ３０１）。
【００８２】
次に、周波数特性Ｇｉ−１の複素共役と周波数特性Ｇｉとの積を作成する（ステップＳ３０２）。
【００８３】
次に、積にＩＦＦＴを適用して白線画像ｇｉ−１と白線画像ｇｉとの相互相関関数（図１４）を作成する（ステップＳ３０３）。
【００８４】
次に、相互相関関数から車線境界線の動きベクトルｂｉを検出し（ステップＳ３０４）、このフローチャートを終了する。ここで、車線境界線の動きベクトルｂｉは、相互相関関数の最大値の座榎の位置ベクトルとする。
【００８５】
図１５は、動物体画像の作成（ステップＳ６及びステップＳ１２）のフローチャートである。
【００８６】
このフローチャートでは、先ず、空撮画像ｆｉ−1を水平方向及び垂直方向にシフトさせる（図１６）（ステップＳ４０１）。ここで、空撮画像ｆｉ−1のシフトは、車線境界線の動きベクトルｂｉの分だけとする。
【００８７】
次に、シフト後の空撮画像ｆｉ−1と空撮画像ｆｉとの差分画像を作成し、作成した差分画像を動物体画像ｍｉとし（ステップＳ４０２）、このフローチャートを終了する。
【００８８】
図１７は、車両の座標及び動きベクトルの検出（ステップＳ１３）のフローチャートである。
【００８９】
このフローチャートでは、先ず、動物体画像ｍｉ−１から車両テンプレートを切り出す（作成する）（図１８）（ステップＳ５０１）。ここで、車両テンプレートを切り出すときの矩形領域の中心は車両の座標ｐｉ−１とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。
【００９０】
次に、車両テンプレートと動物体画像ｍｉとのテンプレートマッチングで、車両の仮座標を検出する（ステップＳ５０２）。ここで、テンプレートマッチングの類似度は、例えば、差分絶対値の平均値の逆数とし、車両の仮座標は、類似度が最大になる座標とする。
【００９１】
次に、動物体画像ｍｉ上に矩形領域を設定する（図１９）（ステップＳ５０３）。ここで、矩形寵域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような措定値とする。
【００９２】
次に、動物体画像ｍｉ上の矩形値域から車両の重心を検出する（ステップＳ５０４）。ここで、車両の重心は、矩形領域の重心とする。
【００９３】
次に、車両の仮座標及び重心から車両の座標ｐｉを計算する（ステップＳ５０５）。ここで、車両の座標ｐｉは、車両の仮座標と車両の重心との中点とする。
【００９４】
次に、車両の座標ｐｉ−１及び車両の座標ｐｉから車両の動きベクトルｃｉを計算し（ステップＳ５０６）、このフローチャートを終了する。ここで、車両の動きベクトルｃｉは、車両の座標ｐｉの位置ベクトルから車両の座標ｐｉ−１の位置ベクトルを減算したものとする。
【００９５】
図２０は、車両の座標の初期値の検出（ステップＳ７）のフローチャートである。
【００９６】
このフローチャートでは、先ず、動物体画像ｍｉ上に矩形領域Ａを設定する（図２１）（ステップＳ６０１）。ここで、矩形領域Ａの中心は動物体画像ｍｉの中心とし、矩形領域Ａの幅及び高さは車両の幅及び高さよりもかなり大きめになるような指定値とする。
【００９７】
次に、動物体画像ｍｉ上の矩形領域Ａから車両の仮座標を検出する（ステップＳ６０２）。ここで、車両の仮座標は、矩形領域Ａの重心とする。
【００９８】
次に、動物体画像ｍｉ上に矩形領域Ｂを設定する（図２２）（ステップＳ６０３）。ここで、矩形領域Ｂの中心は車両の仮座標とし、矩形領域Ｂの幅及び高さは車両の幅及び高さよりも少し大きめになるような措定値とする。
【００９９】
次に、動物体画像ｍｉ上の矩形領域Ｂから車両の座標ｐｉの初期値ｐ１を検出し（ステップＳ６０４）、このフローチャートを終了する。ここで、車両の座標ｐｉの初期値ｐ１は、矩形領域Ｂの重心とする。
【０１００】
本実施の形態によれば、車線境界線の周期を、空撮画像から白線以外の像が除去された白線画像を用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、高精度に検出できる。また、車線境界線の動きベクトルを、白線画像間の相関積分ではなく、白線画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、車両の動きベクトルを、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、車両の像の形状変化に対応しながら動物体以外の像に邪魔されずに、高精度に検出でき、車両の長時間にわたる追跡が可能となる。
【０１０１】
また、車両の座標の初期値を、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な（ランダム誤差の小さい）速度である車両の速度の平均値が、自動的に得られる。
【０１０２】
また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。
【０１０３】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【０１０４】
例えば、上記実施の形態では、不動対象を白線（又は車線境界線）とし、移動対象を白線に沿って移動する車両（又は動物体）としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。
【０１０５】
また、上記実施の形態では、ステップＳ７で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップＳ７を省略することができる。
【０１０６】
また、上記実施の形態では、ステップＳ１６で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップＳ１６を省略することができる。
【産業上の利用可能性】
【０１０７】
本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。
【図面の簡単な説明】
【０１０８】
【図１】本発明による速度計測方法の実施の形態の動作を示すフローチャートである。
【図２】空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。
【図３】白線画像を示す模式図である。
【図４】動物体画像を示す模式図である。
【図５】白線画像及び白線画像の周波数特性の作成のフローチャートである。
【図６】ラプラシアンオペレータを示す模式図である。
【図７】車線境界線の周期の検出のフローチャートである。
【図８】周波数特性の振幅特性を示す模式図である。
【図９】水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。
【図１０】水平化白線画像の分割方法を示す模式図である。
【図１１】小画像及び小画像の水平投影像を示す模式図である。
【図１２】小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。
【図１３】車線境界線の動きベクトルの検出のフローチャートである。
【図１４】白線画像間の相互相関関数を示す模式図である。
【図１５】動物体画像の作成のフローチャートである。
【図１６】空撮画像のシフト方法を示す模式図である。
【図１７】車両の座標及び動きベクトルの検出のフローチャートである。
【図１８】車両テンプレートの切り出し方法を示す模式図である。
【図１９】矩形領域の設定方法を示す模式図である。
【図２０】車両の座標の初期値の検出のフローチャートである。
【図２１】矩形領域Ａの設定方法を示す模式図である。
【図２２】矩形領域Ｂの設定方法を示す模式図である。
【図１】
2008249685.tif 000003
【図２】
2008249685.tif 000004
【図３】
2008249685.tif 000005
【図４】
2008249685.tif 000006
【図５】
2008249685.tif 000007
【図６】
2008249685.tif 000008
【図７】
2008249685.tif 000009
【図８】
2008249685.tif 000010
【図９】
2008249685.tif 000011
【図１０】
2008249685.tif 000012
【図１１】
2008249685.tif 000013
【図１２】
2008249685.tif 000014
【図１３】
2008249685.tif 000015
【図１４】
2008249685.tif 000016
【図１５】
2008249685.tif 000017
【図１６】
2008249685.tif 000018
【図１７】
2008249685.tif 000019
【図１８】
2008249685.tif 000020
【図１９】
2008249685.tif 000021
【図２０】
2008249685.tif 000022
【図２１】
2008249685.tif 000023
【図２２】
2008249685.tif 000024
【手続補正書】
【提出日】平成19年11月5日(2007.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
【請求項２】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴを用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
【請求項３】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項４】
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項５】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項２記載の速度計測方法。
【請求項６】
前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする請求項２記載の速度計測方法。
【請求項７】
前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項２記載の速度計測方法。
【請求項８】
前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関関数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
【請求項９】
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項２記載の速度計測方法。
【請求項１０】
前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。
【背景技術】
【０００２】
空撮画像を用いて移動対象（例えば、車両）の速度を計測する速度計測技術は、これまでにも提案されている（例えば、特許文献１）。
【０００３】
このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両（移動対象）と車線境界線（不動対象）とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
【特許文献１】特開平１１−２９６７８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
要約すれば、特許文献１の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果（実測値）を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果（計測値）も高精度となるし、個々の実測が軽い処理（計算量の少ない処理）であるのなら、計測全体も軽い処理となる。
【０００５】
特許文献１の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法（実測方法１）を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の２値画像を画像処理する方法（実測方法２）を採用している。実測方法１の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に重い処理（計算量の多い処理）であるということである。実測方法２の短所は、２値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。
【０００６】
本発明の目的は、不動対象の周期、不動対象の動き及び移動対象の動きを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を軽い処理で高精度に計測する速度計測方法を提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。
【０００８】
請求項２の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴ（Fast Fourier Transform:高速フーリエ変換）を用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴ(Inverse FFT)を用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。
【０００９】
請求項３の発明による速度計測方法は、前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。
【００１０】
請求項４の発明による速度計測方法は、前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。
【００１１】
請求項５の発明による速度計測方法は、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。
【００１２】
請求項６の発明による速度計測方法は、前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする。
【００１３】
請求項７の発明による速度計測方法は、前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。
【００１４】
請求項８の発明による速度計測方法は、前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関関数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。
【００１５】
請求項９の発明による速度計測方法は、前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。
【００１６】
請求項１０の発明による速度計測方法は、前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。
【発明の効果】
【００１７】
請求項１の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【００１８】
このように、請求項１の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【００１９】
請求項２の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象画像の周波数特性をＦＦＴを用いて作成し、不動対象の周期を、不動対象画像及び不動対象画像の周波数特性を用いて検出し、不動対象の動きベクトルを、不動対象画像の周波数特性及びＩＦＦＴを用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【００２０】
このように、請求項２の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の周波数特性を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像間の相関積分ではなく、不動対象画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【００２１】
請求項３の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。
【００２２】
このように、請求項３の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。
【００２３】
請求項４の発明によれば、請求項２の発明に加えて更に、移動対象の速度の平均値を計算している。
【００２４】
このように、請求項４の発明では、請求項２の発明の効果に加えて更に、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。
【００２５】
請求項５の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。
【００２６】
このように、請求項５の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。
【００２７】
請求項６の発明によれば、空撮画像をフィルタリングし（手続１）、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し（手続２）、不動対象画像にＦＦＴを適用して不動対象画像の周波数特性を作成している（手続３）。
【００２８】
このように、請求項６の発明では、手続１によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続２によって、それらがより細かく分別され、手続１及び手続２によって、雑音が少ない良質な不動対象画像が作成される。手続３によって、通常のフーリエ変換よりも軽い処理で不動対象画像の周波数特性が作成される。
【００２９】
請求項７の発明によれば、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し（手続４）、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し（手続５）、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し（手続６）、小画像を用いて不動対象の周期を検出している（手続７）。
【００３０】
このように、請求項７の発明では、手続４によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続５によって、不動対象の像が水平化又は垂直化されるので、手続６の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Ｓとし、それ以外の面積を雑音成分Ｎとすると、手続７は、空撮画像又は不動対象画像を用いる方法よりも、Ｓ／Ｎの良い信号処理方法といえる。
【００３１】
請求項８の発明によれば、不動対象画像の周波数特性の複素共役と不動対象画像の周波数特性との積を計算し（手続８）、積にＩＦＦＴを適用して相互相関関数を計算し（手続９）、相互相関関数の最大値の座標の位置ベクトルを不動対象の動きベクトルとしている。
【００３２】
このように、請求項８の発明では、手続８によって、相互相関関数の周波数特性が計算され、手続９によって、相互相関関数が計算され、手続８及び手続９によって、通常の相関積分よりも軽い処理で相互相関関数が計算される。
【００３３】
請求項９の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ（手続１０）、シフト後の画像と空撮画像との差分画像を移動対象画像としている（手続１１）。
【００３４】
このように、請求項９の発明では、手続１０によって、二つの空撮画像間の不動対象の位置が合わされ 手続１１によって、それらの差分画像、すなわち移動対象画像が作成され、手続１０及び手続１１によって、軽い処理で実用上問題のない品質の移動対象画像が作成される。
【００３５】
請求項１０の発明によれば、移動対象画像を用いて移動対象の仮座標及び重心を検出し（手続１２）、仮座標と重心との中点を移動対象の座標とし（手続１３）、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。
【００３６】
このように、請求項１０の発明では、手続１２によって、移動対象の像の形状及び重心という二つの観点から移動対象の仮座標及び重心がそれぞれ検出され、手続１３によって、それらの中点が移動対象の座標とされ、手続１２及び手続１３によって、移動対象の像の形状変化に対応しながら移動対象の座標が高精度に検出される。
【発明を実施するための最良の形態】
【００３７】
本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。
【００３８】
本実施の形態では、空撮画像ｆｉ（図２）は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、ｉはフレーム番号とし、ｆｉの画素値は明度とする。
【００３９】
本実施の形態では、空撮画像ｆｉ及び白線画像ｇｉ（図３）の画素値は、０以上２５５以下（８ビット）の整数とし、それらの画像の画素値を更新する際、新しい画素値が０未満になる場合には、その値を０に丸めるものとし、新しい画素値が２５５を超える場合には、その値を２５５に丸めるものとする。ここで、白線画像ｇｉは、白線以外の像が除去された空撮画像ｆｉとする。
【００４０】
本実施の形態では、動物体画像ｍｉ（図４）の画素値は、−１２８以上１２７以下（８ビット）の整数とし、その画像の画素値を更新する際、新しい画素値が−１２８未満になる場合には、その値を−１２８に丸めるものとし、新しい画素値が１２７を超える場合には、その値を１２７に丸めるものとする。ここで、動物体画像ｍｉは、動物体以外の像が除去された空撮画像ｆｉとする。
【００４１】
図１のフローチャートでは、先ず、フレーム番号のカウンタｉを−１に初期化する（ステップＳ1）。
【００４２】
次に、カウンタｉに１を加算する（ステップＳ２）。
【００４３】
次に、白線画像ｇｉ及び白線画像ｇｉの周波数特性Ｇｉ作成する（ステップＳ３）。
【００４４】
次に、カウンタｉが１であるか否かを判定し（ステップＳ４）、カウンタｉが１でない場合には、ステップＳ２に戻り、カウンタｉが１である場合には、ステップＳ５に進む。
【００４５】
ステップＳ５では、車線境界線の動きベクトルｂｉ（図２）を検出する。
【００４６】
に、動物体画像ｍｉを作成する（ステップＳ６）。
【００４７】
次に、車両の座標ｐｉ（図２）の初期値ｐ１を検出する（ステップＳ７）。
【００４８】
次に、カウンタｉに１を加算する（ステップＳ８）。
【００４９】
次に、白線画像ｇｉ及び白線画像ｇｉの周波数特性Ｇｉを作成する（ステップＳ９）。
【００５０】
次に、画像上における車線境界線の周期ｌｉ（図２）を検出する（ステップＳ１０）。
【００５１】
次に、車線境界線の動きベクトルｂｉを検出する（ステップＳ１１）。
【００５２】
次に、動物体画像ｍｉを作成する（ステップＳ１２）。
【００５３】
次に、車両の座標ｐｉ及び動きベクトルｃｉ（図２）を検出する（ステップＳ１３）。
【００５４】
次に、車両の速度ｖｉ＝（｜ｃｉ−ｂｉ｜／Ｔ）・（Ｌ／ｌｉ）を計算する（ステップＳ１４）。ここで、Ｔはフレーム間隔とし、Ｌは道路上における車線境界線の周期の規定値（高速道路の場合、Ｌ＝２０ｍ）とする。
【００５５】
次に、カウンタｉが上限値ｎであるか否かを判定し（ステップＳ１５）、カウンタｉが上限値ｎでない場合には、ステップＳ８に戻り、カウンタｉが上限値ｎである場合には、ステップＳ１６に進む。
【００５６】
ステップＳ１６では車両の速度の平均値ｖ＝（ｖ２＋ｖ３＋・・・＋ｖｎ）／（ｎ−１）を計算し、このフローチャートを終了する。
【００５７】
図５は、白線画像及び白線画像の周波数特性の作成（ステップＳ３及びステップＳ９）のフローチャートである。
【００５８】
このフローチャートでは、先ず、空撮画像ｆｉの複製画像ｇｉを作成する（ステップＳ１０１）。
【００５９】
次に、画像ｇｉをラプラシアンオペレータ（図６）でフィルタリングする（ステップＳ１０２）。
【００６０】
次に、画像ｇｉ上の微小成分をｐタイル法で除去（画素値を０に）する（ステップＳ１０３）。
【００６１】
次に、画像ｇｉ上の孤立点を除去（画素値を０に）し、孤立点除去後の画像ｇｉを白線画像ｇｉとする（ステップＳ１０４）。ここで、画像ｇｉ上の孤立点は図領域の孤立点とし、図領域は画素値が１以上の領域とする。
【００６２】
次に、白線画像ｇｉにＦＦＴを適用して白線画像ｇｉの周波数特性Ｇｉを作成し（ステップＳ１０５）、このフローチャートを終了する。
【００６３】
図７は、車線境界線の周期の検出（ステップＳ１０）のフローチャートである。
【００６４】
このフローチャートでは、先ず、周波数特性Ｇｉの振幅特性（図８）を作成する（ステップＳ２０１）。
【００６５】
次に、振幅特性をｐタイル法で２値化する（ステップＳ２０２）。
【００６６】
次に、振幅特性の図領域の角度を検出する（ステップＳ２０３）。ここで、振幅特性の図領域はｐタイル法で決定した閾値以上の領域とし、振幅特性の図領域の角度は図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。
【００６７】
次に、白線画像ｇｉを回転させて水平化白線画像（図９）を作成する（ステップＳ２０４）。ここで、白線画像ｇｉを回転させる角度は、振幅特性の図領域の角度に９０゜を加算した角度、又は、減算した角度とする。
【００６８】
次に、水平化白線画像の水平投影像（図９）を作成する（ステップＳ２０５）。
【００６９】
次に、ＦＦＴなどを用いて水平投影像の自己相関関数（図９）を作成する（ステップＳ２０６）。
【００７０】
次に、水平投影像の自己相関関数から車線の幅を検出する（ステップＳ２０７）。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。
【００７１】
次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する（図１０）（ステップＳ２０８）。
【００７２】
次に、すべての小画像の水平投影像（図１１）を作成する（ステップＳ２０９）。
【００７３】
次に、小画像の水平投影像ごとに、水平投影像の最大値を検出する（ステップＳ２１０）。
【００７４】
次に、水平投影像の最大値が指定値以上になっている小画像だけを選出する（ステップＳ２１１）。
【００７５】
次に、選出された小画像の垂直投影像（図１２）を作成する（ステップＳ２１２）。
【００７６】
次に、ＦＦＴなどを用いてすべての垂直投影像の自己相関関数（図１２）を作成する（ステップＳ２１３）。
【００７７】
次に、垂直投影像の自己相関関数ごとに、自己相関関数の諸特性を検出する（ステップＳ２１４）。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。
【００７８】
次に、車線の幅及び指定条件に基づいて（例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている）自己相関関数の諸特性を選出する（ステップＳ２１５）。
【００７９】
次に、選出された自己相関関数の諸特性から車線境界線の周期ｌｉを計算し（ステップＳ２１６）、このフローチャートを終了する。ここで、車線境界線の周期ｌｉは、自己相関関数の隣接ピーク間隔の平均値（複数個）の平均値（１個）とする。
【００８０】
図１３は、車線境界線の動きベクトルの検出（ステップＳ５及びステップＳ１１）のフローチャートである。
【００８１】
このフローチャートでは、先ず、周波数特性Ｇｉ−１の複素共役を作成する（ステップＳ３０１）。
【００８２】
次に、周波数特性Ｇｉ−１の複素共役と周波数特性Ｇｉとの積を作成する（ステップＳ３０２）。
【００８３】
次に、積にＩＦＦＴを適用して白線画像ｇｉ−１と白線画像ｇｉとの相互相関関数（図１４）を作成する（ステップＳ３０３）。
【００８４】
次に、相互相関関数から車線境界線の動きベクトルｂｉを検出し（ステップＳ３０４）、このフローチャートを終了する。ここで、車線境界線の動きベクトルｂｉは、相互相関関数の最大値の座標の位置ベクトルとする。
【００８５】
図１５は、動物体画像の作成（ステップＳ６及びステップＳ１２）のフローチャートである。
【００８６】
このフローチャートでは、先ず、空撮画像ｆｉ−１を水平方向及び垂直方向にシフトさせる（図１６）（ステップＳ４０１）。ここで、空撮画像ｆｉ−１のシフトは、車線境界線の動きベクトルｂｉの分だけとする。
【００８７】
次に、シフト後の空撮画像ｆｉ−１と空撮画像ｆｉとの差分画像を作成し、作成した差分画像を動物体画像ｍｉとし（ステップＳ４０２）、このフローチャートを終了する。
【００８８】
図１７は、車両の座標及び動きベクトルの検出（ステップＳ１３）のフローチャートである。
【００８９】
このフローチャートでは、先ず、動物体画像ｍｉ−１から車両テンプレートを切り出す（作成する）（図１８）（ステップＳ５０１）。ここで、車両テンプレートを切り出すときの矩形領域の中心は車両の座標ｐｉ−１とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。
【００９０】
次に、車両テンプレートと動物体画像ｍｉとのテンプレートマッチングで、車両の仮座標を検出する（ステップＳ５０２）。ここで、テンプレートマッチングの類似度は、例えば、差分絶対値の平均値の逆数とし、車両の仮座標は、類似度が最大になる座標とする。
【００９１】
次に、動物体画像ｍｉ上に矩形領域を設定する（図１９）（ステップＳ５０３）。ここで、矩形領域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。
【００９２】
次に、動物体画像ｍｉ上の矩形領域から車両の重心を検出する（ステップＳ５０４）。ここで、車両の重心は、矩形領域内の画像の重心とする。
【００９３】
次に、車両の仮座標及び重心から車両の座標ｐｉを計算する（ステップＳ５０５）。ここで、車両の座標ｐｉは、車両の仮座標と車両の重心との中点とする。
【００９４】
次に、車両の座標ｐｉ−１及び車両の座標ｐｉから車両の動きベクトルｃｉを計算し（ステップＳ５０６）、このフローチャートを終了する。ここで、車両の動きベクトルｃｉは、車両の座標ｐｉの位置ベクトルから車両の座標ｐｉ−１の位置ベクトルを減算したものとする。
【００９５】
図２０は、車両の座標の初期値の検出（ステップＳ７）のフローチャートである。
【００９６】
このフローチャートでは、先ず、動物体画像ｍｉ上に矩形領域Ａを設定する（図２１）（ステップＳ６０１）。ここで、矩形領域Ａの中心は動物体画像ｍｉの中心とし、矩形領域Ａの幅及び高さは車両の幅及び高さよりもかなり大きめになるような指定値とする。
【００９７】
次に、動物体画像ｍｉ上の矩形領域Ａから車両の仮座標を検出する（ステップＳ６０２）。ここで、車両の仮座標は、矩形領域Ａ内の画像の重心とする。
【００９８】
次に、動物体画像ｍｉ上に矩形領域Ｂを設定する（図２２）（ステップＳ６０３）。ここで、矩形領域Ｂの中心は車両の仮座標とし、矩形領域Ｂの幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。
【００９９】
次に、動物体画像ｍｉ上の矩形領域Ｂから車両の座標ｐｉの初期値ｐ１を検出し（ステップＳ６０４）、このフローチャートを終了する。ここで、車両の座標ｐｉの初期値ｐ１は、矩形領域Ｂ内の画像の重心とする。
【０１００】
本実施の形態によれば、車線境界線の周期を、空撮画像から白線以外の像が除去された白線画像を用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、高精度に検出できる。また、車線境界線の動きベクトルを、白線画像間の相関積分ではなく、白線画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、車両の動きベクトルを、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、車両の像の形状変化に対応しながら動物体以外の像に邪魔されずに、高精度に検出でき、車両の長時間にわたる追跡が可能となる。
【０１０１】
また、車両の座標の初期値を、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な（ランダム誤差の小さい）速度である車両の速度の平均値が、自動的に得られる。
【０１０２】
また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。
【０１０３】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【０１０４】
例えば、上記実施の形態では、不動対象を白線（又は車線境界線）とし、移動対象を白線に沿って移動する車両（又は動物体）としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。
【０１０５】
また、上記実施の形態では、ステップＳ７で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップＳ７を省略することができる。
【０１０６】
また、上記実施の形態では、ステップＳ１６で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップＳ１６を省略することができる。
【産業上の利用可能性】
【０１０７】
本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。
【図面の簡単な説明】
【０１０８】
【図１】本発明による速度計測方法の実施の形態の動作を示すフローチャートである。
【図２】空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。
【図３】白線画像を示す模式図である。
【図４】動物体画像を示す模式図である。
【図５】白線画像及び白線画像の周波数特性の作成のフローチャートである。
【図６】ラプラシアンオペレータを示す模式図である。
【図７】車線境界線の周期の検出のフローチャートである。
【図８】周波数特性の振幅特性を示す模式図である。
【図９】水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。
【図１０】水平化白線画像の分割方法を示す模式図である。
【図１１】小画像及び小画像の水平投影像を示す模式図である。
【図１２】小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。
【図１３】車線境界線の動きベクトルの検出のフローチャートである。
【図１４】白線画像間の相互相関関数を示す模式図である。
【図１５】動物体画像の作成のフローチャートである。
【図１６】空撮画像のシフト方法を示す模式図である。
【図１７】車両の座標及び動きベクトルの検出のフローチャートである。
【図１８】車両テンプレートの切り出し方法を示す模式図である。
【図１９】矩形領域の設定方法を示す模式図である。
【図２０】車両の座標の初期値の検出のフローチャートである。
【図２１】矩形領域Ａの設定方法を示す模式図である。
【図２２】矩形領域Ｂの設定方法を示す模式図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2008249685.tif 000025
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2008249685.tif 000026
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2008249685.tif 000027
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2008249685.tif 000028