(57)【要約】【課題】画像の特徴量抽出を用いることなく、車両速度を推定可能な汎用性の高い動画像処理に基づく車両速度推定方法を提案すること。【解決手段】車両速度推定方法は、車両に取り付けたカメラにより撮影した画像を、コンピュータにおいて処理して車両の速度を推定する画像処理工程（ＳＴ３）を有する。画像処理工程では、或る時点ｉで得られた画像行列を、次の時点で得られた画像行列に変化させる写像を表す変換行列Ａｉを算出し（ＳＴ３−１）、算出した変換行列Ａｉと前回の時点における変換行列との変化量を算出し（ＳＴ３−２）、算出した変化量を用いて、当該時点ｉにおける車両速度を算出する（ＳＴ３−３）。【選択図】図１
2014209108.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、前記コンピュータにおいて取得画像を処理して前記車両の速度を推定する画像処理工程を有し、
前記画像取得工程は、前記取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込み、
前記画像処理工程は、
一つの時点で得られた前記画像行例を、その次の時点で得られた前記画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、
一つの時点で算出された前記変換行列をその前の時点で算出された前記変換行列と比較して、その変化量を算出する変化量算出工程、および、
前記変化量に基づき一つの時点における前記車両の速度を算出する速度算出工程を備えていることを特徴とする車両速度推定方法。
【請求項２】
前記変化量算出工程では、
一つの時点で算出された前記変換行列をＡｉ、その前の時点で算出された前記変換行列をＡｉ−１とすると、これらの関係を、次式で示すように、べき乗数ｘを用いて近似し、
Ａｉ≒Ａ（ｉ−１）ｘ
前記変換行列のそれぞれを特異値分解して、それらの対称成分の最大特異値σｉ、σ（ｉ−１）を算出し、前記べき乗数ｘを、次式で示すように、前記最大特異値の対数比で近似し、
ｘ  ≒  ｌｏｇσｉ／ｌｏｇσ（ｉ−１）
前記べき乗数ｘの近似値を、前記変化量として算出する請求項１に記載の車両速度推定方法。
【請求項３】
前記コンピュータに、前記変化量と前記車両の速度との相関関係を設定しておき、
前記速度算出工程では、前記相関関係に基づき、算出された前記べき乗数ｘの近似値から前記車両の速度を算出する請求項２に記載の車両速度推定方法。
【請求項４】
前記相関関係は、前記変化量と前記車両の直進速度との相関関係であり、
前記速度算出工程では、前記べき乗数ｘの近似値から、前記車両の直進速度を算出する請求項３に記載の車両速度推定方法。
【請求項５】
前記相関関係は、前記変化量と、前記車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関関係であり、
前記速度算出工程では、前記べき乗数ｘの近似値から、前記車両の旋回速度を算出する請求項３に記載の車両速度推定方法。
【請求項６】
前記車両に角速度センサを搭載し、
前記変化量と前記車両の直進速度との相関関係を第１相関関係とし、前記変化量と、前記車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関関係を第２相関関係とすると、前記コンピュータに前記第１相関関係および前記第２相関関係を設定しておき、
前記画像取得工程と並行して、前記車両に搭載した角速度センサによって計測される前記車両の旋回速度を取得し、
前記変換行列算出工程では、
前記車両の一般運動を、前記車両の直進運動と定位置での旋回運動との組み合わせであると見做して、
一つの時点で得られた前記画像行例を、次の時点で得られた前記画像行列に変化させる
写像を表す変換行列Ａｋを、前記直進運動の前記変換行列Ｓ、前記旋回運動の前記変換行列Ｔを用いて、次式で表し、
Ａｋ  ＝  Ｓｍ(k)Ｔｎ(k)
前記変化量算出工程では、
前記変換行列のそれぞれを特異値分解して、前記変換行列Ａｋ、Ｓm(ｋ)、Ｔn(ｋ)の対称成分の最大特異値σｋ、σｓ、σＴをそれぞれ算出し、
前記べき乗数ｍ（ｋ）の値を、次式で示すように、対数比で近似し、
ｍ（ｋ）  ≒  （ｌｏｇσｋ−ｎｌｏｇσＴ）／ｌｏｇσＳ
前記角速度センサによって計測される前記旋回速度を用いて、前記第２相関関係に基づき、べき乗数ｎ（ｋ）の値を算出し、
算出した前記べき乗数ｎ（ｋ）の値を上式に代入して、前記べき乗数ｍ（ｋ）の近似値を算出し、
前記速度算出工程では、算出された前記べき乗数ｍ（ｋ）の近似値を用いて、前記第１相関関係に基づき、前記車両の一般運動における直進速度を算出する請求項１に記載の車両速度推定方法。
【請求項７】
車両に搭載したカメラによって撮像される車両の走行に伴って移動する周囲の画像に基づき、前記車両の速度を推定する車両速度推定プログラムであって、
コンピュータに、請求項１ないし５のうちのいずれか一つの項に記載の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴とする車両速度推定プログラム。
【請求項８】
車両に搭載したカメラによって所定のサンプリング周期で撮像された車両の走行に伴って移動する周囲の画像と、車両に搭載した角度速度センサによって計測される車両の旋回速度とに基づき、前記車両の一般運動における直進速度を推定する車両速度推定プログラムであって、
コンピュータに、請求項６に記載の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴とする車両速度推定プログラム。
【請求項９】
車両に取り付けるカメラ、および、前記カメラの撮像画像を取得する画像入力部を備えたコンピュータシステムを有し、
前記コンピュータシステムは、請求項１ないし５のうちのいずれか一つに記載された車両速度推定方法によって前記車両の速度を推定する処理部を備えていることを特徴とする車両速度推定システム。
【請求項１０】
車両に取り付けるカメラおよび角速度センサと、前記カメラの撮像画像および前記角速度センサによって測定される前記車両の旋回速度を取得する入力部を備えたコンピュータシステムを有し、
前記コンピュータシステムは、請求項６に記載の車両速度推定方法によって、前記車両の一般運動における直進速度を推定する処理部を備えていることを特徴とする車両速度推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載したカメラから得られる動画像に基づき車両の速度を推定する車両速度推定方法および車両速度推定プログラム、並びに、車両速度推定システムに関する。
【背景技術】
【０００２】
現在、国内・海外の自動車メーカが自動ブレーキシステムを開発している。自動ブレーキシステムには車両速度推定技術が重要であり、対人安全性のために不可欠とされるカメラを用いた車両速度推定技術が確立すれば、現在のレーザーを用いた一般車両の速度推定技術の安全性が増強されると期待される。
【０００３】
また、国内での少子高齢化の進行等の観点から、農作業のロボット化を実現することが求められており、このためにも、農用無人車両の速度推定技術の確立が重要である。農用無人車両は、一般の自動車とは異なり、圃場、農道といった軟弱な路面を主に走行する。その際、車輪の空転が発生するので、車輪速度センサには誤差が生じてしまう。そこで、車輪速度センサを用いることなく速度を推定する技術の確立が重要視されている。
【０００４】
無人車両の速度推定技術としては、レーザーレンジファインダー、カメラ、高精度ＧＰＳ等の数十万円から数百万円の高価なセンサを用いる方法が知られている。しかしながら、低コスト化が要望される車両の分野、特に、低コストが重要とされる農用車両の分野において、これらの高コストなセンサを用いた速度推定技術を採用することは困難である。
【０００５】
ここで、数万円程度の汎用カメラを用いた速度推定技術が研究されている。このような速度推定技術は非特許文献１において提案されており、カメラを下に向けて車体に取付け、カメラの取得画像から路面の凹凸を特徴量として抽出し、抽出した特徴量に基づき車両速度を推定している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】IEEE/ASME TRANSACTIONS ON MECHATRONICS, VOL.16, NO.3, JUNE 2011, A Kalman Filter-Integrated Optical Flow Method for Velocity Sensing of Mobile Robots
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、カメラ画像から路面の凹凸や模様等の特徴量を抽出して車両速度を推定する従来法は、次のような解決すべき課題がある。
【０００８】
すなわち、コンクリート・アスファルト・土などの路面環境の変化は一般に激しい。また、日射量（雨天時・夜間時）などの光源環境の変化も大きい。特に、農道や圃道では一般道に比べて路面の変化が激しい。このような変化に対応して精度良く速度の推定を行うためには、特徴量抽出のためのしきい値を環境変化に応じて変える必要がある。このため、路面環境や光源環境の変化に対する頑健性の点で従来法には問題がある。
【０００９】
本発明の課題は、このような点に鑑みて、路面環境・光源環境の変化に影響される凹凸・模様などの特徴量抽出を用いることなく、車両速度を推定可能な汎用性の高い動画像処理に基づく車両速度推定方法、および、当該車両速度推定方法を実行するための車両速度
推定プログラムを提案することにある。また、本発明の課題は、特徴量抽出を用いることなく汎用カメラによって取得される動画像処理に基づく車両速度推定システムを提案することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の車両速度推定方法は、車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、前記コンピュータにおいて取得画像を処理して前記車両の速度を推定する画像処理工程を含んでいる。
【００１１】
画像取得工程は、取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された行列として取り込む。画像処理工程は、一つの時点で得られた取得画像を表す画像行例を、その次の時点で得られた取得画像を表す画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、一つの時点で算出された変換行列をその前の時点で算出された変換行列と比較して、その変化量を算出する変化量算出工程、および、変化量に基づき一つの時点における車両の速度を算出する速度算出工程を備えている。
【００１２】
カメラの取得画像を表す画像行列は、その画素の色情報（諧調レベルを表す数字）の行列である。車両の移動に伴ってカメラに映る画像の変化（移動）は、その画像行列が変化することを意味する。本発明者等は、ある時点における画像行列を次の時点における画像行列に変化させる写像に着目し、写像の変化量すなわち写像を表す変換行列の変化量と、車両速度との間に所定の対応関係があると推察し、これに基づき、本発明をなすに至った。
【００１３】
本発明では、走行する車両画像の変化を行列空間上の変換行列と同一視して、画像の意味（行列要素の数値）を全く考慮することなく、変換行列が有する変化量から車両速度を推定している。特徴量を定義することなく車両速度を推定できるので、路面環境や光源環境の変化が実質的に車両速度の推定精度に影響を及ぼすことがない。よって、路面環境や光源環境の変化に対して頑健性の高い車両速度推定方法を実現できる。特に、本発明の方法は、路面環境等の変化の比較的激しい農用車両の速度推定に用いるのに適している。
【００１４】
ここで、写像を表す変換行列は画像行列の時間変化を表す。本発明者等は、変換行列の変化の大きさを求める１つの方法として、次式のべき乗部に着目した。Ａｉはある時点における変換行列を表し、Ａ（ｉ−１）は前回の時点における変換行列を表す。
【数１】
2014209108.tif 000003
【００１５】
べき乗部ｘが速度を表していると考察し、 次式のように変換行列の対称成分の最大特異値の対数比をとることでべき乗ｘを近似した。
【数２】
2014209108.tif 000004
【００１６】
すなわち、本発明では、変化量算出工程において、一つの時点で算出された変換行列と、その前の時点で算出された変換行列との関係を、べき乗数ｘを用いて近似し、変換行列のそれぞれを特異値分解して、それらの対称成分の最大特異値σｉ、σ（ｉ−１）を算出し、べき乗数ｘを最大特異値の対数比で近似し、べき乗数ｘの近似値を変化量として算出
している。
【００１７】
本発明者等の検証によれば、前記変化量に基づき、車両の直進速度を高い精度で推定できることが確認された。
【００１８】
また、本発明者等の検証によれば、直進に比べて画像の変化が激しい車両の旋回時においても、前記変化量に基づき、車両が向きを変える動作を行っている間の速度である旋回速度を高い精度で推定できることが確認された。
【００１９】
次に、本発明は、車両に搭載したカメラによって取得された車両の走行に伴って移動する周囲の画像に基づき、前記車両の速度を推定する車両速度推定プログラムであって、コンピュータに、上記の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴としている。
【００２０】
また、本発明の車両速度推定システムは、車両に搭載したカメラ、および、前記カメラの撮像画像を取得する入力部を備えたコンピュータシステムを有し、前記コンピュータシステムは、上記の車両速度推定方法によって、取得画像を処理して前記車両の速度を推定する処理部を備えていることを特徴としている。
【００２１】
一方、本発明の車両の一般運動における直進速度の推定方法は、車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、コンピュータにおいて取得画像を処理して車両の速度を推定する画像処理工程を含む。また、画像取得工程は、前記取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込む。画像処理工程は、一つの時点で得られた画像行例を、その次の時点で得られた画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、一つの時点で算出された変換強烈をその前の時点で算出された変換行列と比較して、その変化量を算出する変化量算出工程、および、変化量に基づき一つの時点における車両の直進速度を算出する速度算出工程を備えている。
【００２２】
さらに、車両に角速度センサを搭載し、上記の変化量と車両の直進速度との相関を表す第１相関関係、および、上記の変化量と車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関を表す第２相関関係を、それぞれ、コンピュータに設定しておく。また、画像取得工程と並行して、車両に搭載した角速度センサによって計測される車両の旋回速度を取得する。
【００２３】
上記の変換行列算出工程では、車両の一般運動を、車両の直進運動と定位置での旋回運動との組み合わせであると見做して、一つの時点で得られた画像行例を、次の時点で得られた画像行列に変化させる写像を表す変換行列Ａｋを、直進運動の変換行列Ｓ、旋回運動の変換行列Ｔを用いて、次式で表す。
Ａｋ  ＝  Ｓｍ（ｋ）Ｔｎ（ｋ）
【００２４】
上記の変化量算出工程では、変換行列のそれぞれを特異値分解して、変換行列Ａｋ、Ｓｍ（ｋ）、Ｔｎ（ｋ）の対称成分の最大特異値σｋ、σｓ、σＴをそれぞれ算出し、べき乗数ｍ（ｋ）の値を、次式で示すように、対数比で近似し、
ｍ（ｋ）  ≒  （ｌｏｇσｋ−ｎ（ｋ）ｌｏｇσＴ）／ｌｏｇσＳ
角速度センサによって計測される旋回速度を用いて、前記第２相関関係に基づき、べき乗数ｎ（ｋ）の値を算出し、算出したべき乗数ｎ（ｋ）の値を上式に代入して、べき乗数ｍ（ｋ）の近似値を算出する。
【００２５】
そして、速度算出工程では、算出されたべき乗数ｍ（ｋ）の近似値を用いて、第１相関
関係に基づき、車両の一般運動における直進速度を算出する。
【００２６】
また、本発明は、車両に搭載したカメラによって撮像された車両の走行に伴って移動する周囲の画像と、車両に搭載した角度速度センサによって計測される車両の旋回速度とに基づき、前記車両の一般運動における直進速度を推定する車両速度推定プログラムであって、コンピュータに、上記の車両速度推定方法における画像取得工程および画像処理工程を実行させることを特徴としている。
【００２７】
さらに、本発明は、車両に取り付けるカメラおよび角速度センサと、カメラの撮像画像および角速度センサによって測定される車両の旋回速度を取得する入力部を備えたコンピュータシステムを有し、前記コンピュータシステムは、上記の車両速度推定方法によって、車両の一般運動における直進速度を推定する処理部を備えていることを特徴としている。
【００２８】
本発明者等は、上記の方法によって、直進運動と旋回運動を含む車両の一般運動における直進速度の推定を精度良く行い得ることを確認した。よって、本発明によれば、特徴量抽出を用いることなく、汎用カメラおよびジャイロセンサを用いた廉価な構成で、車両の一般運動における直進速度を推定可能なシステムを実現できる。
【図面の簡単な説明】
【００２９】
【図１】本発明の車両の直進速度の推定方法の処理手順を示す概略フローチャートである。
【図２】直進時の取得画像を示す図である。
【図３】実験に用いた農用車両を示す図および実験装置の概略ブロック図である。
【図４】ＧＰＳによる直進速度の計測結果のグラフおよびその平均値を示す表である。
【図５】車両速度推定方法による推定結果のグラフ、実験毎の推定結果の表、および、推定結果とＧＰＳ測定結果の相関図である。
【図６】旋回時の取得画像を示す図である。
【図７】左旋回時の低速、中速、高速の旋回速度の推定値のグラフである。
【図８】左旋回時の低速、中速、高速の旋回速度の推定値を纏めて示すグラフである。
【図９】右旋回時の低速、中速、高速の旋回速度の推定値のグラフである。
【図１０】右旋回時の低速、中速、高速の旋回速度の推定値を纏めて示すグラフである。
【図１１】旋回速度の推定値の平均値を示す表および旋回時のＲＳＤを示す表である。
【図１２】左旋回時および右旋回時の方位計の方位角を示すグラフである。
【図１３】旋回速度の推定値とＧＰＳ、方位計の旋回速度の相関図である。
【図１４】ＧＰＳの旋回速度、方位計の旋回速度、ＧＰＳの旋回速度の相関図における相関係数、および、方位計の旋回速度の相関図における相関係数を示す表である。
【図１５】直進時の取得画像および写像を示す説明図である。
【図１６】旋回時の取得画像および写像を示す説明図である。
【図１７】一般運動時の取得画像および写像を示す説明図である。
【図１８】ジャロセンサの計測値から推定値ｎを算出する手順と、旋回速度および推定値ｎの相関を示す説明図である。
【図１９】一般運動の写像および推定値ｍを示す説明図である。
【図２０】推定値ｍから直進速度を推定する手順と、推定値ｍおよび直進速度の相関を示す説明図である。
【図２１】実施の形態３の実験機の制御系を示す概略ブロック図である。
【図２２】ジャイロセンサによって計測された旋回速度を示すグラフである。
【図２３】実験において算出された値ｍの推定値を示すグラフである。
【図２４】実験において算出された直進速度を示すグラフである。
【図２５】実験により算出された推定値ｍと直進速度の相関を示すグラフである。
【発明を実施するための形態】
【００３０】
以下に、図面を参照して、本発明を適用した動画像処理に基づく車速推定方法の実施の形態を説明する。以下の実施の形態は本発明を農用車両の車両速度の推定に適用したものであるが、本発明は農用車両以外の車両にも同様に適用可能なことは勿論である。
【００３１】
［実施の形態１］
（汎用カメラを用いた農用車両の直進運動における直進速度の推定方法）
実施の形態１の推定方法は、農用車両に搭載した汎用カメラの画像データを行列としてとらえることで、画像から凹凸・模様等の特徴量抽出を用いずに、農用車両の直進運動における直進速度を推定する。図１は直進速度の推定方法の処理手順を示す概略フローチャートである。
【００３２】
この図に示すように、直進速度の推定方法は、車両に取り付けたカメラによって、車両の走行に伴って移動する周囲の画像を撮像する工程ＳＴ１、撮像を一定のサンプリング周期でコンピュータに取り込む画像取得工程ＳＴ２、および、コンピュータにおいて取得画像を処理して車両の直進速度を推定する画像処理工程ＳＴ３を有している。画像取得工程ＳＴ２では、取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込む。
【００３３】
画像処理工程ＳＴ３では、一つの時点ｉで得られた画像行例を、その次の時点で得られた画像行列に変化させる写像を表す変換行列Ａｉを算出し、（変換行列算出工程ＳＴ３−１）、時点ｉで算出された変換行列Ａｉをその前の時点（ｉ−１）で算出された変換行列Ａ（ｉ−１）と比較して、その変化量を算出し（変化量算出工程ＳＴ３−２）、変化量に基づき時点ｉにおける車両の直進速度を算出する（速度算出工程ＳＴ３−３）。
【００３４】
以下に、直進速度の推定方法について詳しく説明する。まず、画像は色情報の行列であり、一般に、各画素が０〜２５５の２５６諧調レベルを表す数字で表すことができる。車両が直進すると画像が変化する。すなわち、車両に取り付けられ、定まった方向を向く汎用カメラの視野内において、そこに映し出される画像の各画素は、車両の直進に伴って移動する。これに対応して、各画素の諧調レベルの数字から構成される行列も変化する。
【００３５】
例えば、図２（ａ）に示す汎用カメラでとらえた画像を表す画像行列Ｘ１は、車両の直進に伴って、図２（ｂ）に示す画像を表す画像行列Ｘ２に変化する。また、車両速度が増加すると、図２（ａ）に示す画像行列Ｘ１が図２（ｃ）に示す画像を表す画像行列Ｘ３に変化する。画像行列Ｘ１を画像行列Ｘ２に変化させる写像を表す変換行列をＡ１、画像行列Ｘ２を画像行列Ｘ３に変化させる変換行列をＡ２とする。これらの変換行列Ａ１、Ａ２は行列の時間変化を表すものであり、次式で表すことができる。
Ａ１＝Ｘ２Ｘ１−１
Ａ２＝Ｘ３Ｘ１−１
【００３６】
同様に、画像行列Ｘ２を画像行列Ｘ３に変化させる変換行列をＡ３とすると、変換行列Ａ３は次式で表すことができる。
Ａ３＝Ｘ３Ｘ２−１
【００３７】
本発明者等は、変換行列の変化の大きさを利用することで車両速度を推定できると考えた。或る車両速度における画像行列Ｘ１に対する画像行列Ｘ２の変化量（変換行列がＡ１）と、これよりも速い車両速度における画像行列Ｘ１に対する画像行列Ｘ３の変化量（変換行列がＡ２）の比較を行った。変化量が増加した場合は加速、減少した場合は減速、同じ場合は一定速度であると考えた。これを、後述のように、実証実験によって確認した。
【００３８】
また、変換行列Ａ１、Ａ２の変化の大きさを求める１つの方法として、これらの関係をべき乗で近似できることに着目した。すなわち、次式に示すように、変換行列Ａ２が変換行列Ａ１の何乗であるかを求めることで、変化の大きさを求めることができると考えた。
【数３】
2014209108.tif 000005
【００３９】
べき乗部ｘを求めるために、それぞれの変換行列Ａ１、Ａ２の対称部分を特異値分解し、次式に示すように、求められた変換行列の対称成分の最大特異値の比で、べき乗部ｘを近似した。次式において、σ１は変換行列Ａ１の最大特異値であり、σ２は変換行列Ａ２の最大特異値である。
【数４】
2014209108.tif 000006
【００４０】
べき乗部ｘの値を直進速度の推定値とし、この推定値が車両の実際の直進速度に精度良く対応することを、後述のように実証実験によって確認した。
【００４１】
（実証実験）
上記の直進速度の推定方法の有効性を実証するために、次のようにして、直進速度を検出する実証実験を行った。
【００４２】
目標となるマーカを用意し、農用車両を無人走行で直進させ、取得した画像データより上記の方法を用いて直進速度を推定した。同時に、ＧＰＳを用いた速度計測を行った。１回の走行距離は１０［ｍ］とし、走行速度は約０．２５［ｋｍ／ｈ］〜１．５０［ｋｍ／ｈ］の間に設定した。
【００４３】
図３（ａ）は実験に使用した農用車両の写真画像である。農用車両１（以下、「ＵＧＶ１」と呼ぶ。）は、クローラ式農業ロボットであり、本田技研工業株式会社製「ＨＳＭ９８０ｉ」を改造し、制御用コンピュータ（Ｃｅｌｅｒｏｎ１．６［ＧＨｚ］）２によって無人走行できるものとした。制御用コンピュータ２のＯＳは実時間化Ｌｉｎｕｘ（登録商標）であり、計測周期は０．０６６［ｓ］（１５Ｈｚ）である。
【００４４】
図３（ｂ）は実験装置の制御系を示す概略ブロック図である。実験を行うため、ＵＧＶ１の前面に汎用カメラ（ＳＯＮＹ，ＤＳＣ−Ｐ７）３を取り付けた。汎用カメラ３によって取得した画像データを制御用コンピュータ２の画像ボード４を介して取得するようにした。さらに、ＧＰＳによる速度を計測するため、ＧＰＳ受信機（へミスフィア、ｓｓＶ−１０２、計測周期５［Ｈｚ］）５を、ＵＧＶ１の上面に配置し、シリアル通信を介して接続した計測用コンピュータ（Ｗｉｎｄｏｗｓ（登録商標）ＸＰ、１．６［ＧＨｚ］）６に取得するようにした。
【００４５】
まず、マーカとして、一般的な赤色パイロン（高さ約０．７［ｍ］）をＵＧＶ１の前方１０［ｍ］の地点に設置し、マーカに向かいＵＧＶ１を直進させた（図２（ａ）〜図２（ｃ）参照）。走行と同時に汎用カメラ３からの画像データ、ＧＰＳの速度計測結果を記録した。走行後、取得した画像データを、数値計算言語ＭＡＴＬＡＢ（登録商標）を用いてプログラム化した本例の方法により、直進速度の推定を行った。また、推定した直進速度とＧＰＳで計測した速度との比較を行った。
【００４６】
図４（ａ）には高速時と低速時のＧＰＳによる直進速度の計測結果を示す。図４（ｂ）には実験毎に平均値をとったものを示す。
【００４７】
図５（ａ）には、本例の方法による直進速度の推定結果（The velocity (B)）を示す。図５（ｂ）には、実験毎の推定結果を「The proposed index B」として示す。図５（ｃ）には、本例の方法による直進速度の推定結果と、ＧＰＳの計測結果との相関図を示す。
【００４８】
（直進速度の推定方法の妥当性）
図５（ｃ）から分かるように、本例の方法の推定結果とＧＰＳ測定結果との相関係数（Correlation coefficient B）ＲＢ２は０．９３を達成した。よって、本例の方法の推定結果は妥当であることが確認された。
【００４９】
なお、推定値が大きく変化しているところがある。このときに得られた画像を確認したところ、通行人といったＵＧＶ１とは異なった動きをする物体が写り込んでおり、これが原因であると考えられる。
【００５０】
［実施の形態２］
（汎用カメラを用いた農用車両の旋回運動における旋回速度の推定方法）
実施の形態２の推定方法は、農用車両に搭載した汎用カメラの画像データを行列としてとらえることで、画像から凹凸・模様等の特徴量抽出を用いずに、農用車両が定位置において向きを変える旋回運動を行う場合における旋回速度を推定する。処理手順は実施の形態１の場合と同様である（図１参照）。
【００５１】
農用車両を旋回させると、そこに取り付けた汎用カメラの視野内に映し出される画像も旋回に伴って変化し、当該画像を表す画像行列が変化する。例えば、図６（ａ）に示す画像を表す画像行列Ｙ１が、図６（ｂ）に示す画像を表す画像行列Ｙ２に変化する。旋回速度を速くした場合には、図６（ａ）に示す画像行列Ｙ１が図６（ｃ）に示す画像を表す画像行列Ｙ３に変化する。画像行列Ｙ１を画像行列Ｙ３に変化させる写像を表す変換行列をＡ１１とし、画像行列Ｙ１を画像行列Ｙ３に変化させる変換行列をＡ１２とすると、これらは次式で表わされる。
Ａ１１＝Ｙ２Ｙ１−１
Ａ１２＝Ｙ３Ｙ１−1
【００５２】
本発明者等は、変換行列の変化の大きさを利用することで、旋回速度を推定できると考えた。或る旋回速度における画像行列Ｙ１に対する画像行列Ｙ２の変化量（変換行列がＡ１１）と、これよりも速い旋回速度における画像行列Ｙ１に対する画像行列Ｙ３の変化量（変換行列がＡ１２）の比較を行った。変化量が増加した場合は加速、減少した場合は減速、同じ場合は一定速度であると考えた。これを、後述のように、実証実験によって確認した。
【００５３】
また、変換行列Ａ１１、Ａ１２の変化の大きさを求めるために、これらの関係をべき乗で近似できることに着目した。すなわち、次式に示すように、変換行列Ａ１２が変換行列Ａ１１の何乗であるかを求めることで、変化の大きさを求めることができると考えた。すなわち、べき乗部の値が速度を表していると考えた。
【数５】
2014209108.tif 000007
【００５４】
べき乗部ｘを求めるため１つの方法として、それぞれの変換行列Ａ１１、Ａ１２の対称部分を特異値分解し、次式に示すように、求められた変換行列の対称成分の最大特異値の比で、べき乗部ｘを近似した。次式において、σ１１は変換行列Ａ１１の最大特異値であり、σ１２は変換行列Ａ１２の最大特異値である。
【数６】
2014209108.tif 000008
【００５５】
べき乗部ｘの値を旋回速度の推定値とし、この推定値が車両の実際の旋回速度に精度良く対応することを、後述のように実証実験によって確認した。
【００５６】
（農道実証実験）
農用車両（ＵＧＶ）を用いて農道実証実験を実施した。農道実証実験では本例の旋回速度の推定方法を用いて、汎用カメラの画像データから旋回速度の推定値を求めた。
【００５７】
実験装置の構成は、図３（ａ）および図３（ｂ）に示す実施の形態１の場合と同様である。
【００５８】
汎用カメラ３から、サンプリング周期１５［Ｈｚ］ごとの画像を制御用コンピュータ２（Ｌｉｎｕｘ（登録商標）ＰＣ）の画像ボード４を介してオフラインで取得した。低速、中速、高速の３つの速度条件にて左右それぞれ約３６０［ｄｅｇ］旋回させ、そのうちの約９０［ｄｅｇ］の画像を使用した。
【００５９】
使用する画像は、図６（ａ）に示すように、全体の大きさを４等分し右下のみとした。４等分にした理由は、全体の大きさの画像を使用すると、制御用コンピュータ２（Ｌｉｎｕｘ（登録商標）ＰＣ）の性能の問題でサンプリング周期をはずしてしまうためである。本例の旋回速度の推定方法では画像全体を画像データとみているため、４等分しても結果に影響されないと判断した。また、農道実証実験では周辺に高い建物がなく画像の上半分は空の気象に影響される可能性があると判断し、画像の下半分のみを用いた。画像の下半分を一辺１３０［ｐｉｘｅｌ］に圧縮して画像データとした。
【００６０】
図７（ａ）、図７（ｂ）および図７（ｃ）には、左旋回のときの低速、中速、高速の旋回速度の推定値を示す。図８には、これらの推定値を纏めて示す。これらの図において、縦軸が旋回速度の推定値ｘを表している。
【００６１】
図９（ａ）、図９（ｂ）および図９（ｃ）には、右旋回のときの低速、中速、高速の旋回速度の推定値をそれぞれ示す。図１０には、これらの推定値を纏めて示す。
【００６２】
図１１（ａ）には旋回速度の推定値の平均値を示してあり、図１１（ｂ）には相対標準偏差「ＲＳＤ」を示してある。
【００６３】
（旋回速度の推定値の妥当性）
図８、図１０、図１１（ａ）に示すように、左旋回および右旋回の何れの場合においても、低速、中速、高速の順で、旋回速度の推定値の平均値は大きくなっており、旋回速度の増減に推定値の増減が対応していることが確認された。
【００６４】
また、図１１（ｂ）に示すように、左旋回および右旋回の何れの場合においても、ＲＳＤは十分小さい値であるので、旋回速度の推定値の妥当性が確認された。
【００６５】
なお、図１１（ｂ）に示すように、左旋回と右旋回のＲＳＤの値を比較すると、右旋回の値の方が大きく、右旋回の方が旋回速度の推定値のばらつきが大きい。
【００６６】
ばらつきの大きな右旋回においては、図９（ａ）に示すように、旋回速度の推定値が５［ｓｅｃ］付近で大きくなり、８［ｓｅｃ］付近で小さくなった。同様に、図９（ｂ）に示すように、旋回速度の推定値が４［ｓｅｃ］付近で大きくなり、６［ｓｅｃ］付近で小さくなった。図９（ｃ）に示すように、旋回速度の推定値が２［ｓｅｃ］付近で大きくなり、４［ｓｅｃ］付近で小さくなった。旋回速度の推定値が大きかった場所の画像、および、旋回速度の推定値が小さかった場所の画像を確認したところ、これらの画像の部分は、他の画像に比べて一時的に画像変化が激しくなった部分であり、これが影響して、ＲＳＤの値が一時的に大きくなったものと考察する。
【００６７】
（検証実験）
ＧＰＳ、方位計の旋回速度を、旋回速度の推定値と比較して検証実験を実施した。
【００６８】
ＧＰＳ、方位計の旋回速度を、旋回速度の推定値と比較して左旋回を正として検証した。ＵＧＶ１にＧＰＳと方位計を配置し、シリアル通信を介して計測データをＷｉｎｄｏｗｓ（登録商標）ＰＣに取得した。方位計は方位角の一次差分から旋回速度を求めた。図１２（ａ）〜図１２（ｆ）には、方位計の方位角を示す。
【００６９】
図１３（ａ）〜図１３（ｄ）に、旋回速度の推定値ｘとＧＰＳ、方位計の旋回速度の相関図を示す。図１４（ａ）には、ＧＰＳの旋回速度を示し、図１４（ｂ）には、方位計の旋回速度を示す。また、図１４（ｃ）には、ＧＰＳの旋回速度の相関図における低速、中速、高速の３点の相関係数Ｒ２を示し、図１４（ｄ）には、方位計の旋回速度の相関図における低速、中速、高速の３点の相関係数Ｒ２を示す。
【００７０】
図１３（ａ）〜図１３（ｄ）、図１４（ａ）、図１４（ｂ）に示すように、左旋回の場合は相関図の傾きが正、右旋回の場合は相関図の傾きが負になった。図１４（ｃ）、図１４（ｄ）に示すように、ＧＰＳの旋回速度に比べて方位計の旋回速度の方が相関係数Ｒ２が小さくなった。
【００７１】
（旋回速度の推定方法の妥当性）
相関係数Ｒ２は１に十分近い値であるので、旋回速度の推定手法の妥当性が農道実証実験から示された。すなわち、画像の変化量が大きいにもかかわらず、直進速度の速度推定手法が適用できることが示された。
【００７２】
なお、図１３（ｃ）、図１３（ｄ）、図１４（ｃ）、図１４（ｄ）に示すように、方位計の旋回速度の相関係数Ｒ２が小さい原因は、図１２（ａ）〜図１２（ｆ）の方位計の方位角が直線になっていない部分があるため方位計の誤差によるものだと考察する。
【００７３】
［実施の形態３］
（汎用カメラを用いた農用車両の一般運動における直進速度の推定方法）
実施の形態３の推定方法は、本発明を、車両、例えば農用車両の一般運動における直進速度の推定に適用したものである。すなわち、実施の形態３の推定方法では、車両の一般運動を、車両の直進運動と定位置での旋回運動との組み合わせであると見做し、車両の一般運動における取得画像を表す画像行列の時間変化を表す写像の変換行列を、実施の形態１において説明した直進運動に起因する変換行列と、実施の形態２において説明した旋回運動に起因する変換行列とを用いて定義する。
【００７４】
実際の推定動作においては、車両に搭載したジャイロセンサ（角速度センサ）によって
車両の旋回速度を測定する。測定した旋回速度を用いて、車両の一般運動における変換行列の変化量に含まれる、車両の旋回運動に起因する変換行列の変化量を算出する。算出した変化量を、車両の一般運動における変換行列の変化量から除去し、車両の一般運動の変換行列の変化量に含まれる直進運動に起因する変化量を算出する。この変化量に基づき、車両の一般運動における直進速度を推定する。
【００７５】
以下に、実施の形態３の推定方法を詳しく説明する。まず、速度推定の準備として、直進運動および旋回運動の変換行列を決定する。図１５に示すように、直進運動において、汎用カメラで取得される画像行列をＹ０からＹ１に変化させる写像を表す変換行列をＳ１とし、次式のように表す。
Ｓ１＝Ｙ１Ｙ０−１
同様に、図１５の画像行列をＹ１からＹ２に変化させる写像を表す変換行列をＳ２とし、次式で示す。
Ｓ２＝Ｙ２Ｙ１−１
なお、誤差を小さくするために、任意のＮ番目までの変換行列の平均を直進運動の変換行列とする。
Ｓ＝（Ｓ１＋Ｓ２＋・・・ＳＮ）／Ｎ
【００７６】
旋回運動の変換行列も同様に決定する。図１６に示すように、旋回運動における画像行列をＹ０からＹ１に変化させる写像を表す変換行列をＴ１とし、次式のように表す。
Ｔ１＝Ｙ１Ｙ０−１
同様に、図１５の画像行列をＹ１からＹ２に変化させる写像を表す変換行列をＴ２とし、次式で示す。
Ｔ２＝Ｙ２Ｙ１−１
なお、誤差を小さくするために、任意のＮ番目までの変換行列の平均を直進運動の変換行列とする。平均の母数Ｎは試行錯誤的に決定する。
Ｔ＝（Ｔ１＋Ｔ２＋・・・ＴＮ）／Ｎ
【００７７】
次に、一般運動の変換行列を求める。一般運動の変換行列は、直進運動、旋回運動と同様に求めることができる（実施の形態１、実施の形態２参照）。図１７において、画像行列Ｙｋ−１をＹｋに変化させる写像を表す変換行列をＡｋとし、次式で表す。
Ａｋ＝ＹｋＹｋ−１−１
同様に、図１７において、画像行列ＹｋをＹｋ＋１に変化させる写像を表す変換行列をＡｋ＋１とし、次式で表す。
Ａｋ＋１＝ＹｋＹｋ＋１−１
さらに、一般運動の変換行列を、直進運動の変換行列と旋回運動の変換行列を用いて次式（Ａ）により表す。
Ａｋ＝Ｓｍ（ｋ）Ｔｍ（ｋ）            （Ａ）
【００７８】
直進運動の変換行列Ｓのべき乗数ｍを直進速度の推定値、旋回運動の変換行列Ｔのべき乗数ｎを旋回速度の推定値とし、ｍの値を求めることで一般運動における直進速度を推定する。ｎの値は、車両に搭載したジャイロセンサ（角速度センサ）によって計測されたデータを基に、旋回速度の相関係数のグラフを用いて推定する。図１８には、旋回速度の相関係数のグラフを示す。
【００７９】
一般運動の変換行列を表す上式（Ａ）の両辺の対数比をとるために、各変換行列を特値分解し、それぞれの最大特異値の対数比をとることで、次式に示すように、直進速度の推定値ｍを近似する（図１９参照）。ここで、一般運動の変換行列Ａｋの最大特異値をσｋ、直進運動の変換行列Ｓの最大特異値をσＳ、旋回運動の変換行列Ｔの最大特異値をσＴとする。
ｍ（ｋ）≒（ｌｏｇσｋ−ｎ（ｋ）ｌｏｇσＴ）／ｌｏｇσＳ
【００８０】
求められた推定値ｍを基に、直進速度の相関係数のグラフを用いて、直進速度を推定する。図２０には、直進速度の相関係数のグラフを示してある。
【００８１】
（実証実験）
上記の車両の一般運動における直進速度の推定方法の有効性を実証するために、次のようにして、直進速度を検出する実証実験を行った。
【００８２】
実験装置は、Ｌｉｎｕｘ（登録商標）ＯＳＰＣによって無人走行するクローラ式農業ロボット（ＵＧＶ）である。図２１は実験装置の制御系を示す概略ブロック図である。実験装置および制御系は実施の形態１、２の場合（図３）と同様である。図２１においては対応する部位には同一の符号を付してある。実験を行うため、ＵＧＶ１の前面に汎用カメラ３を取り付け、画像を１５（Ｈｚ）のサンプリング周期で、制御用コンピュータ２の画像ボード（画像入力部）を介して取得した。ここで、本実験装置では、ジャイロセンサ７を実験装置の上部に設置し、旋回速度を測定した。なお、直進速度の推定値が正しいことを検証するために、ＧＰＳ５を設置した。
【００８３】
速度推定に使用する画像は、中央部分を切り取り、さらに、１３０×１３０（ｐｉｘｅｌ）に変換したものとした。実験は、無人走行で約２０（Ｓ）一定の速度で一般運動し、オフラインで速度推定した。速度推定には画像の緑色成分を使用した。
【００８４】
図２２にはジャイロセンサ７によって計測された旋回速度のグラフを示す。旋回速度は実験開始から約４（ｓ）後に約１．０１２（ｄｅｇ／ｓ）で一定となった。図２３には、推定された直進速度の推定値ｍのグラフを示す。ｍの値は、実験開始から約１（ｓ）で一定となり、平均の値は約１．０６７となった。また、相対標準偏差は約３．４１％となり、速度推定の精度が高いことが示された。図２４はＧＰＳ５より計測された直進速度のフラグを示し、図２５には計測された直進速度と直進速度の推定値の関係を表す相関グラフを示す。計測された直進速度は約０．１６４（ｍ／ｓ）となり、推定された直進速度は約０．１６９（ｍ／ｓ）となった。また、相関係数は約０．９６となった。
【００８５】
実証実験の結果、計測された直進速度と、推定された直進速度が非常に近い値をとることから、適切な直進速度の推定ができたものと考えられる。また、相関係数も１に近い値をとることから、本発明の車両の一般運動における直進速度の推定方法の有効性が示された。
【符号の説明】
【００８６】
１  農用車両
２  制御用コンピュータ
３  汎用カメラ
４  画像ボード
５  ＧＰＳ受信機
６  計測用コンピュータ
７  ジャイロセンサ
【図１】
2014209108.tif 000009
【図２】
2014209108.tif 000010
【図３】
2014209108.tif 000011
【図４】
2014209108.tif 000012
【図５】
2014209108.tif 000013
【図６】
2014209108.tif 000014
【図７】
2014209108.tif 000015
【図８】
2014209108.tif 000016
【図９】
2014209108.tif 000017
【図１０】
2014209108.tif 000018
【図１１】
2014209108.tif 000019
【図１２】
2014209108.tif 000020
【図１３】
2014209108.tif 000021
【図１４】
2014209108.tif 000022
【図１５】
2014209108.tif 000023
【図１６】
2014209108.tif 000024
【図１７】
2014209108.tif 000025
【図１８】
2014209108.tif 000026
【図１９】
2014209108.tif 000027
【図２０】
2014209108.tif 000028
【図２１】
2014209108.tif 000029
【図２２】
2014209108.tif 000030
【図２３】
2014209108.tif 000031
【図２４】
2014209108.tif 000032
【図２５】
2014209108.tif 000033