(57)【要約】【課題】車載単眼カメラを用いて、道路上にある案内看板や標識など対象物との距離を高精度に測定できる距離計測装置及び方法を提供する。【解決手段】距離計測装置は、単眼カメラが撮影した異なるフレームの画像が入力され、その画像から対象物を検出する対象物検出部１０１と、対象物の２フレーム以上の画像を蓄積する対象物検出結果蓄積部１０２と、検出した対象物の画像上の長さまたは画素数などを算出する対象物スケール算出部１０３と、対象物の向きを対象物の特徴点から算出する対象物向き算出部１０４と、算出した対象物の向きおよび入力される車速センサーの車速情報に基づいて、車両が対象物に指向する速度を算出する対象物指向速度算出部１０５と、算出した対象物指向速度および算出した対象物の画像上のスケールに基づいて、対象物までの距離を計算し出力する対象物距離算出部１０６とを有する。【選択図】図１
2011064639.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された単眼カメラおよび車速センサーにより、対象物までの距離を計測する距離計測装置であって、
前記単眼カメラが撮影した２枚以上の撮像画像から、前記対象物を検出する対象物検出部と、
検出した前記対象物の画像上のスケールを算出する対象物スケール算出部と、
前記対象物の向きを前記対象物の特徴点から算出する対象物向き算出部と、
算出した前記対象物の向きおよび前記車速センサーの車速情報に基づいて、車両が前記対象物に指向する速度を算出する対象物指向速度算出部と、
算出した前記対象物に指向する速度および算出した前記対象物の画像上のスケールに基づいて、前記対象物までの距離を計算する対象物距離算出部と、を有する距離計測装置。
【請求項２】
請求項１に記載の距離計測装置であって、
前記対象物向き算出部は、前記対象物の表面における非同一直線上の３つの特徴点に基づいて、前記対象物の表面の法線方向を算出する距離計測装置。
【請求項３】
請求項２に記載の距離計測装置であって、
前記対象物指向速度算出部は、前記対象物の表面の法線方向に基づいて、車両が前記対象物に指向する速度を算出する距離計測装置。
【請求項４】
請求項１に記載の距離計測装置であって、
前記対象物の画像上のスケールと前記対象物までの距離の積が既知か未知かを判断する測距条件判断部を有し、
前記対象物距離算出部は、前記積が既知の場合に、前記積に基づいて前記対象物までの距離を算出する距離計測装置。
【請求項５】
請求項１に記載の距離計測装置であって、
オフラインによる画像処理に当たって、前記対象物に対して近い距離で撮像した画像から遠い距離で撮像した画像へ再生順を変更する時系列変更部と、
近い距離で撮像した画像において前記対象物を検出し、遠い距離で撮像した画像において前記対象物を探索する対象物検出追跡部と、
遠い距離で撮像した画像から近い距離で撮像した画像へ再生順を変更する時系列調整部と、を有する距離計測装置。
【請求項６】
車両に搭載された単眼カメラおよび車速センサーにより、対象物までの距離を計測する距離計測方法であって、
前記単眼カメラが撮影した２枚以上の撮像画像から、前記対象物を検出するステップと、
検出した前記対象物の画像上のスケールを算出するステップと、
前記対象物の向きを前記対象物の特徴点から算出するステップと、
算出した前記対象物の向きおよび前記車速センサーの車速情報に基づいて、車両が前記対象物に指向する速度を算出するステップと、
算出した前記対象物に指向する速度および算出した前記対象物の画像上のスケールに基づいて、前記対象物までの距離を計算するステップと、を有する距離計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を用いて対象物との距離を計測する距離計測装置及び距離計測方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたカメラによって道路状況を撮像し、それによって得られた画像に基づいて、運転を支援したり、車両を制御したりすることが考えられている。このような技術においては、撮像した対象物までの距離計測を正しく行うことが重要である。
【０００３】
対象物までの距離計測は、カメラの構成によってステレオカメラによる距離計測と単眼カメラによる距離計測に分類できる。ステレオカメラによる距離計測とは、相対位置関係が既知の複数のカメラを用い、同一対象物を撮像し、撮像した複数の画像の視差を用いて距離計測する方法である。
【０００４】
一方、単眼カメラによる距離計測とは、１つのカメラによって得られた撮像画像を用いて対象物との距離を算定する方法である。ステレオカメラを用いる方法よりも、単眼カメラを用いる方法はシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、コストも低い特徴がある。本発明は単眼カメラを用いる距離計測方法に関する。
【０００５】
また、実サイズが既知の対象物に対し、画像上における対象物の画像サイズとカメラのスペックパラメータを用いて、対象物との距離を算定する方法が存在する。
【０００６】
しかし、道路上に実サイズが未知の案内看板や非規格化標識、またはその他の物体も多数存在する。それらの物体との距離及び距離の変化パターンによって、ドライバーの運行状況、例えば、交通ルールへの違反がないか、危険な行動がないかなどを解析することが可能である。そのため、実サイズが未知の対象物、例えば、案内看板との距離を計測する必要がある。
【０００７】
カメラと対象物との間に存在する特定の幾何拘束条件を利用して、カメラと対象物との距離を計測する方法として、例えば特許文献１に開示された技術がある。特許文献１に開示された技術は、撮像した画像から先行車の接地点を検出し、接地点の位置より先行車との距離を算定する方法をベースとして、画像から先行車の車幅画像サイズを高精度的に算出し、高精度的に車幅の実サイズ及び先行車の距離を算出するものである。
【０００８】
画像上における静止物体のスケール変化と自車速度を利用して、カメラと対象物との距離を計測する方法として、例えば特許文献２に開示された技術がある。特許文献２に開示された技術は、画像上における道路近傍に固定された構造体のスケール変化を算出し、自車と上記構造体との距離をまず計測する。次に、走行路上における自車と、上記構造体と、先行車との相対位置関係を利用し、自車と先行車との距離を算出するものである。
【０００９】
自車の速度を利用しない距離計測方法として、従来運動視差と呼ばれる方法がある。異なる位置から撮像した２枚の画像から最少８点以上の対応点ペアを検出し、対応点の画像上における位置より２枚の画像を撮像するカメラの位置の移動量を算出し、２枚の画像をステレオカメラ画像と看做して距離を計測する。
【００１０】
運動視差方法を利用した距離計測方法として、例えば特許文献３に開示された技術がある。特許文献３に開示された技術は、単純な運動視差方法では確定できない３次元実空間座標のスケール量を、検出した道路面より算出したカメラの設置高度とカメラの実際の設置高度から確定し、対応点の３次元実空間座標を算出するものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許２００７／０１５４０６８号明細書
【特許文献２】特開２００３−２４７８２４号公報
【特許文献３】特開２００６−３４９６０７号公報
【非特許文献】
【００１２】
【非特許文献１】”Detection of text on road signs from video,” IEEE Trans. ITS, vol.6, no.4, Dec 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
道路上に多くの案内看板、メッセージボード、非規格化標識が存在する。これらの対象物との距離及び距離の変化パターン情報を利用し、ドライバーの運行状況を解析することは可能である。
【００１４】
しかしながら、特許文献１に開示の技術は、対象物たる先行車が接地点にあることが前提であり、接地しない対象物への適用はできない。案内看板などの対象物の路面上における垂直方向の接地点を推算するのは困難であるため、当該技術を用いて案内看板などまでの距離を算出するのは難しい。
【００１５】
一方、特許文献２に開示の技術では、自車と対象物（道路構造体）との距離を計測するため、車速センサーの出力を自車速度として利用するが、案内看板などまでの距離を計測するために必要な速度とは必ずしも一致しない。
【００１６】
すなわち、案内看板などまでの距離を計測するために必要な速度は案内看板などの対象物を指向する速度であるのに対して、速度センサーの出力は自車の移動方向における速度である。特に、カーブ、坂、自車の不規則走行（車線変更など）の場合では、二者間の誤差が大きいため、正しい距離計測を実現できない。
【００１７】
一方、特許文献３に開示の技術では、実用的な距離計測を実現するため、複数の平面から１００点以上の対応点を求める必要がある。しかし、大きな画像領域を占める路面にテクスチャが乏しいため、路面の対応点の取得が困難である。また先行車など動物体における対応点を避けなければならない。従って、大量の有効な対応点を取得することは困難なため、３次元実空間の座標計算もそれにより距離の計測が困難である。
【００１８】
本発明は、上記従来の事情に鑑みてなされたものであって、実サイズが未知の案内看板や非規格化標識までの距離を正確に計測することができる距離計測装置及び距離計測方法を提供することを目的としている。
【課題を解決するための手段】
【００１９】
本発明の距離計測装置は、車両に搭載された単眼カメラおよび車速センサーにより、対象物までの距離を計測する距離計測装置であって、前記単眼カメラが撮影した２枚以上の撮像画像から、前記対象物を検出する対象物検出部と、検出した前記対象物の画像上のスケールを算出する対象物スケール算出部と、前記対象物の向きを前記対象物の特徴点から算出する対象物向き算出部と、算出した前記対象物の向きおよび前記車速センサーの車速情報に基づいて、車両が前記対象物に指向する速度を算出する対象物指向速度算出部と、算出した前記対象物に指向する速度および算出した前記対象物の画像上のスケールに基づいて、前記対象物までの距離を計算する対象物距離算出部とを有する。
【００２０】
上記構成によれば、車両が対象物に指向する速度である対象物指向速度に基づいて対象物までの距離を計算するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。また、単眼カメラを用いるのでシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、低コストを実現できる。
【００２１】
また、本発明の距離計測装置において、前記対象物向き算出部は、前記対象物の表面における非同一直線上の３つの特徴点に基づいて、前記対象物の表面の法線方向を算出する。
【００２２】
上記構成によれば、対象物の表面における非同一直線上の３つの特徴点に基づいて、対象物の表面の法線方向を算出するので、実サイズが未知の案内看板や非規格化標識などの法線方向を正確に算出することができる。
【００２３】
また、本発明の距離計測装置において、前記対象物指向速度算出部は、前記対象物の表面の法線方向に基づいて、車両が前記対象物に指向する速度を算出する。
【００２４】
上記構成によれば、対象物の表面の法線方向に基づいて、車両が対象物に指向する速度を算出するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。
【００２５】
また、本発明の距離計測装置は、前記対象物の画像上のスケールと前記対象物までの距離の積が既知か未知かを判断する測距条件判断部を有し、前記対象物距離算出部は、前記積が既知の場合に、前記積に基づいて前記対象物までの距離を算出する。
【００２６】
上記構成によれば、対象物の画像上のスケールと距離の積が既知か未知かを判断し、積が既知の場合に、その積に基づいて対象物までの距離を算出するので、繰り返しの計算を省略することができ、計算負荷を軽くし、距離計算を高速に行うことができる。
【００２７】
また、本発明の距離計測装置は、オフラインによる画像処理に当たって、前記対象物に対して近い距離で撮像した画像から遠い距離で撮像した画像へ再生順を変更する時系列変更部と、近い距離で撮像した画像において前記対象物を検出し、遠い距離で撮像した画像において前記対象物を探索する対象物検出追跡部と、遠い距離で撮像した画像から近い距離で撮像した画像へ再生順を変更する時系列調整部とを有する。
【００２８】
上記構成によれば、ドライブレコーダーの記録に基づいて、ドライバーの運行状況、例えば、交通ルールへの違反がないかまたは危険な行動がないかなどを解析するオフラインによる画像処理に当たって、近い距離で撮像した画像で大きなスケールの対象物を検出し、その対象物が遠い距離で撮像した画像で小さなスケールになるまで追跡するので、遠距離における対象物の検出率を向上させることができる。
【００２９】
また、本発明の距離計測方法は、車両に搭載された単眼カメラおよび車速センサーにより、対象物までの距離を計測する距離計測方法であって、前記単眼カメラが撮影した２枚以上の撮像画像から、前記対象物を検出するステップと、検出した前記対象物の画像上のスケールを算出するステップと、前記対象物の向きを前記対象物の特徴点から算出するステップと、算出した前記対象物の向きおよび前記車速センサーの車速情報に基づいて、車両が前記対象物に指向する速度を算出するステップと、算出した前記対象物に指向する速度および算出した前記対象物の画像上のスケールに基づいて、前記対象物までの距離を計算するステップとを有する。
【００３０】
上記構成によれば、車両が対象物に指向する速度である対象物指向速度に基づいて対象物までの距離を計算するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。また、単眼カメラを用いるのでシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、低コストを実現できる。
【発明の効果】
【００３１】
以上説明したように、本発明にかかる距離計測装置及び距離計測方法によれば、車両が対象物に指向する速度である対象物指向速度に基づいて対象物までの距離を計算するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。また、単眼カメラを用いるのでシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、低コストを実現できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態１にかかる距離計測装置の概略構成を説明するための図
【図２】本発明の実施形態１にかかる距離計測方法の処理ステップを説明するためのフローチャート
【図３】本発明の実施形態１において、カメラから対象物までの距離の計算ステップを説明するための図
【図４】本発明の実施形態２にかかる距離計測装置の概略構成を説明するための図
【図５】本発明の実施形態３にかかる距離計測装置の概略構成を説明するための図
【図６】本発明の実施形態において、撮影した画像フレームおよび対象物の画像スケールを説明するための図
【発明を実施するための形態】
【００３３】
以下、図面を参照し、本発明に係る距離計測装置及び方法の実施の形態を説明する。本発明の基本原理は、自車から見た対象物のスケールの時間変化から対象物との距離を測定するものであり、単眼カメラが撮影した２枚以上の撮像画像から、対象物を検出し、検出した対象物の画像上のスケールを算出し、対象物の向きを対象物の特徴点から算出し、算出した対象物の向きおよび車速センサーの車速情報に基づいて、車両が対象物に指向する速度を算出し、算出した対象物指向速度および算出した対象物の画像上のスケールに基づいて、対象物までの距離を計算する。
【００３４】
本実施形態の距離計測装置及び方法によれば、車両が対象物に指向する速度である対象物指向速度に基づいて対象物までの距離を計算するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。また、単眼カメラを用いるのでシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、低コストを実現できる。
【００３５】
（実施形態１）
図１は実施形態１の構成を示す。本実施形態の距離計測装置は、車両に搭載された単眼カメラおよび車速センサーにより案内看板などの対象物までの距離を計測する距離計測装置であって、単眼カメラが撮影した異なるフレームの画像（撮像画像）が入力され、その画像から対象物を検出する対象物検出部１０１と、対象物の２フレーム以上の画像を蓄積する対象物検出結果蓄積部１０２と、検出した対象物の画像上の長さまたは画素数などを算出する対象物スケール算出部１０３と、対象物の向きを対象物の特徴点から算出する対象物向き算出部１０４と、算出した対象物の向きおよび入力される車速センサーの車速情報に基づいて、車両が対象物に指向する速度を算出する対象物指向速度算出部１０５と、算出した対象物指向速度および算出した対象物の画像上のスケールに基づいて、対象物までの距離を計算し出力する対象物距離算出部１０６とを有する。対象物の「特徴点」とは当該対象物の性質の特徴を示す点ではなく、対象物中の所定の点を意味する。対象物中の所定の位置に対応した所定の点であり、当該位置を把握し続けることができれば、当該所定の点は特徴点の資格を有する。
【００３６】
対象物検出部１０１は入力画像から対象物を検出する。入力画像はカメラからのリアルタイム画像でも事前に蓄積したオフライン画像（実施形態３で詳述する）でも良い。また、対象物として道路上にある案内看板、標識、メッセージボードなどが例である。対象物として、道路面に垂直する平面を有する物体を選択することができる。検出方法として、画像から特定形状、または特定色領域を検出する公知の手法を利用できる。
【００３７】
対象物検出結果蓄積部１０２は対象物の検出結果を少なくとも２枚以上のフレームに亘って蓄積する。ここで、蓄積するフレームをｔ０とｔ１時刻のフレームと表記する。例えば、図６に示すように、車両に搭載したカメラ３０１が、前方にある案内看板などの対象物３０２に対して３０°の方向に走行する場合、時刻０（ｔ０）で撮影したフレーム３０７、および時刻１（ｔ１）で撮影したフレーム３０９を蓄積する。
【００３８】
対象物スケール算出部１０３は複数のフレームにおける対象物の画像上のスケールである画像スケールを算出する。例えば、対象物の特定輪郭線の長さ、又は特定の特徴点間の画素距離を利用する。画像スケールは、例えば画素の個数によって把握される。ここで、算出する画像スケールをＬ０とＬ１で表記する。図６の場合は、時刻０（ｔ０）で撮影したフレーム３０７における対象物３０６の画像スケールＬ０を算出し、時刻１（ｔ１）で撮影したフレーム３０９における対象物３０８の画像スケールＬ１を算出する。
【００３９】
対象物向き算出部１０４は対象物の実空間における向き、すなわち対象物たる看板の平面の法線方向を算出する。対象物向き算出部１０４の処理における具体的な方法を図３によって以下に説明する。
【００４０】
図３において、カメラ３０１は、カメラ３０１が搭載された車両の実際移動方向Ｋに向けて撮影をしている。ｔ０時刻のカメラ３０１の位置を実空間の世界座標系ＸＹＺの原点とし、対象物３０２の所在方向をＺ軸方向、垂直方向をＹ軸、ＹＺ面に直交する方向をＸ軸とする。
【００４１】
対象物検出部１０１が対象物３０２を画像から検出した後、まず、対象物向き算出部１０４は対象領域から少なくとも３点以上の特徴点を検出する。ここで、対象物３０２の非同一直線上の三点の特徴点をＰ１，Ｐ２，Ｐ３で表記する。また、ｔ０時刻の画像座標を以下の式で表記する。
【００４２】
【数１】
2011064639.tif 000003
【００４３】
また、ｔ１時刻の画像座標を以下の式で表記する。
【００４４】
【数２】
2011064639.tif 000004
【００４５】
また、特徴点Ｐｉ，ｉ＝１，２，３の３次元実空間座標を以下の式で表記する。
【００４６】
【数３】
2011064639.tif 000005
【００４７】
なお、式（１）および（２）に示した特徴点Ｐ１，Ｐ２，Ｐ３それぞれの座標は、実空間座標ではなくｘｙ平面の画像だけを見るのでｚ成分はない。また、時刻ｔ０から時刻ｔ１で車両が動くので特徴点Ｐ１，Ｐ２，Ｐ３それぞれの画像座標もずれる。そして、非特許文献１によれば、実空間座標と画像座標との間には以下の関係が存在する。
【００４８】
【数４】
2011064639.tif 000006
【００４９】
なお、式（４）におけるＴは転置行列の意味である。
【００５０】
式（４）において、ｄは時刻ｔ０から時刻ｔ１までの間にカメラ３０１がＺ軸方向に移動した移動距離で未知のパラメータである（図３参照）。また、ｆはカメラ３０１の焦点距離で既知のパラメータである。このため、時刻ｔ０におけるカメラ３０１の世界座標Ｘｉ，Ｙｉ，Ｚｉは、時刻ｔ０から時刻ｔ１までの間にカメラ３０１がＺ軸方向に移動した移動距離ｄ、及び特徴点の画像座標の関数と看做して計算できる。
【００５１】
次に、対象物向き算出部１０４は、対象物３０２の３点の特徴点Ｐ１，Ｐ２，Ｐ３が同じ平面にあると看做して、その平面の法線方向ベクトルＮを求める。図３に示したように、法線方向ベクトルＮを以下の式より計算する。
【００５２】
【数５】
2011064639.tif 000007
【００５３】
すなわち、対象物３０２の法線方向ベクトルＮは、特徴点Ｐ１から特徴点Ｐ２へのベクトルＡと特徴点Ｐ３から特徴点Ｐ２へのベクトルＢの外積となる。対象物３０２の法線方向ベクトルＮは画像上の特徴点間の絶対距離と関係するため、時刻ｔ０から時刻ｔ１までの間にカメラ３０１がＺ軸方向に移動した移動距離ｄの関数と看做すことができる。これは、数式４から分かるように、Ｐ１からＰ３が、ｄを含む関数であるためである。
【００５４】
次に、対象物向き算出部１０４は、対象物３０２の法線方向ベクトルＮの正規化法線方向、つまりベクトルＮの同方向単位ベクトルＮ/‖Ｎ‖を、３点の特徴点Ｐ１，Ｐ２，Ｐ３の画像座標とカメラ３０１の焦点距離ｆとにより計算する。但し、‖Ｎ‖はベクトルＮの長さである。正規化法線方向のＸ，Ｙ，Ｚ軸方向の分量（Ｎｘ，Ｎｙ，Ｎｚ）は以下となる。
【００５５】
【数６】
2011064639.tif 000008
【００５６】
但し、上記の式におけるαは以下の式で表される。
【００５７】
【数７】
2011064639.tif 000009
【００５８】
式（６）、（７）におけるＣｘ，Ｃｙ，Ｃｚは３点の特徴点Ｐ１，Ｐ２，Ｐ３の画像座標から計算できるパラメータであり、詳細は非特許文献１に記述される。つまり、正規化法線方向を３点の特徴点Ｐ１，Ｐ２，Ｐ３の画像座標とカメラ３０１の焦点距離ｆより計算できる。正規化法線方向は、対象物３０２の法線方向ベクトルＮの長さを１として正規化することにより、画像上の特徴点間の絶対距離ではなく、絶対距離の相対変化（例P1P2対P3P2）と関係するため、時刻ｔ０から時刻ｔ１までの間にカメラ３０１がＺ軸方向に移動した移動距離ｄの関数でなくなる。つまり、カメラの移動距離ｄが判らなくても、特徴点の画像座標から対象物の法線方向を計算できる。
【００５９】
次に、対象物指向速度算出部１０５は、カメラ３０１が対象物３０２に指向する速度を計算する。図示しない車速検出装置から入力される速度メーターなどの計測値をＶで表示すれば、対象物指向速度Ｖｚは以下の式で計算される。
【００６０】
【数８】
2011064639.tif 000010
【００６１】
すなわち、対象物指向速度Ｖｚは、速度メーターの計測値Ｖと正規化法線方向のＺ軸方向の分量Ｎｚの積で求まる。なお、対象物指向速度Ｖｚは看板方向（Ｚ軸方向）のみなのでｚ成分のみである。
【００６２】
次に、対象物距離算出部１０６は、カメラ３０１から対象物３０２までの対象物距離を計算する。まず、ｔ０時刻からｔ１時刻まで車両がＺ軸方向に移動した距離ｄは以下の式で計算される。
【００６３】
【数９】
2011064639.tif 000011
【００６４】
すなわち、対象物指向速度Ｖｚと時間差（ｔ１−ｔ０）の積で求まる。
【００６５】
次に、対象物スケール算出部１０３で算出した画像スケールＬ０，Ｌ１とｔ０時刻からｔ１時刻まで車両がＺ軸方向に移動した距離ｄから、対象物距離算出部１０６は、ｔ１時刻におけるカメラ３０１と対象物３０２までの距離Ｄ１を以下の式で計算する。
【００６６】
【数１０】
2011064639.tif 000012
【００６７】
すなわち、距離Ｄ１は、ｔ０時刻からｔ１時刻までに車両がＺ軸方向に移動した距離ｄと画像座標における画像スケールＬ０，Ｌ１の比Ｌ０／（Ｌ１−Ｌ０）の積で求まる。
【００６８】
図２に実施形態１の計算フローチャートを示す。なお、対象物のスケールは、対象物の特徴点Ｐ１，Ｐ２，Ｐ３間の距離から求めることもできるが、図２のフローチャートでは、対象物の画像の長さＬ０，Ｌ１等からスケールを算出する例を示す。
【００６９】
ステップＳ２０１において、カメラ３０１がｔ０時刻の画像を取得する。次に、ステップＳ２０２において、対象物検出部１０１が、ｔ０時刻の画像から対象物を検出する。次に、ステップＳ２０３において、対象物向き算出部１０４が、対象物の３つの特徴点Ｐ１，Ｐ２，Ｐ３の画像座標を検出する。また、ステップＳ２０４において、対象物スケール算出部１０３が、ｔ０時刻の画像から対象物のスケールを算出する。
【００７０】
一方、ステップＳ２０５において、カメラ３０１がｔ１時刻の画像を取得する。次に、ステップＳ２０６において、対象物検出部１０１が、ｔ１時刻の画像から対象物を検出する。次に、ステップＳ２０７において、対象物向き算出部１０４が、対象物の3つの特徴点Ｐ１，Ｐ２，Ｐ３の画像座標を検出する。また、ステップＳ２０４において、対象物スケール算出部１０３が、ｔ１時刻の画像から対象物のスケールを算出する。
【００７１】
次に、ステップＳ２０８において、対象物向き算出部１０４が、ｔ０時刻、ｔ１時刻各々における対象物の３つの特徴点Ｐ１，Ｐ２，Ｐ３の実空間仮座標（Ｘｉ，Ｙｉ，Ｚｉ），ｉ＝１，２，３を算出する。次に、ステップＳ２０９において、対象物向き算出部１０４が、対象物平面の法線方向（Ｎｘ，Ｎｙ，Ｎｚ）を算出する。
【００７２】
次に、ステップＳ２１０において、対象物指向速度算出部１０５が、対象物方向の速度を算出する。次に、ステップＳ２１１において、対象物距離算出部１０６が、対象物方向の移動距離を算出する。そして、ステップＳ２１２において、対象物距離算出部１０６が、対象物までの距離を算出する。
【００７３】
このように、本実施形態の距離計測装置及び方法によれば、車両が対象物に指向する速度である対象物指向速度に基づいて対象物までの距離を計算するので、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも正しい距離計測を実現できる。また、単眼カメラを用いるのでシステムの構造が簡単であり、カメラ間の位置校正も必要なく、且つ、低コストを実現できる。
【００７４】
（実施形態２）
実施形態１に示した距離計測方法は全てのフレームに対して実行すると、計算負荷が重くなる。図４に実施形態２の構成を示す。図１に示した実施形態１と比べると、対象物検出部１０１の出力に基づいて、対象物の画像上のスケールと対象物までの距離の積が既知か未知かを判断する測距条件判断部４１０が加えられる。
【００７５】
同じ対象物に対して、第３の時刻、例えばｔ２時刻以降の距離計算はｔ０とｔ１時刻の結果を利用して簡単に計算できる。図６を参照すると、第３の時刻は時刻２（ｔ２）に対応し、時刻２（ｔ２）のフレーム３１１では対象物３１０の画像スケールがＬ２となる。なお、時刻０（ｔ０）におけるカメラ３０１から対象物３０２までの距離をＤ０とし、時刻１（ｔ１）におけるカメラ３０４から対象物３０２までの距離をＤ１とし、時刻２（ｔ２）におけるカメラ３０５から対象物３０２までの距離をＤ２とする。
【００７６】
画像フレーム３０７，３０９，３１１上の対象物３０６，３０８，３１０のサイズＬ０，Ｌ１，Ｌ２とｚ軸上におけるカメラ３０１，３０４，３０５から対象物３０２までの距離Ｄ０，Ｄ１，Ｄ２の関係を（表１）に示す。
【００７７】
【表１】
2011064639.tif 000013
【００７８】
時刻２（ｔ２）におけるカメラ３０５から対象物３０２までの距離Ｄ２は、具体的に、対象物３０２の画像上におけるスケールＬｉ（ｉ＝０，１，２，・・・）とその時の距離Ｄｉ（ｉ＝０，１，２，・・・）の積が一定であるため、実施形態１よりＤ１・Ｌ１を計算すれば、時刻ｔ２時のスケールＬ２から直接に距離Ｄ２を計算できる。
【００７９】
【数１１】
2011064639.tif 000014
【００８０】
すなわち、距離Ｄ２は、ｔ１時刻におけるカメラ３０１から対象物３０２までの距離Ｄ１と画像座標におけるスケールＬ１，Ｌ２の比Ｌ１／Ｌ２の積で求まる。
【００８１】
測距条件判断部４１０では、（表１）に示す時刻ｔ０と時刻ｔ１の画像の関係から対象物の画像上のスケールと距離の積αが既知か未知かを判断し、積αが既知の場合に、対象物検出結果蓄積部１０２、対象物スケール算出部１０３、対象物向き算出部１０４および対象物指向速度算出部１０５におけるそれぞれの処理を省略する。そして、対象物距離算出部１０６において、
【００８２】
【数１２】
2011064639.tif 000015
【００８３】
における積αを利用して、時刻ｔ２以降の距離Ｄ２を計算する。
【００８４】
本実施形態の距離計測装置および距離計測方法によれば、対象物の画像上のスケールと距離の積αが既知か未知かを判断し、積αが既知の場合に、積αに基づいて対象物までの距離を算出するので、繰り返しの計算を省略することができ、計算負荷を軽くし、距離計算を高速に行うことができる。
【００８５】
（実施形態３）
通常、遠距離の対象物の画像上スケールが小さく、検出が困難となり、算出した誤差も相対的に大きい。一方、前フレームで検出した対象物に対し公知の追跡手法を利用すれば、次フレームからの検出率が向上する。
【００８６】
従って、蓄積した画像を解析処理するオフライン処理の時に、入力画像の検出順番を逆にし、対象物の画像スケールが大きいフレームから実施形態１又は実施形態２の処理を実行し、距離結果を求めた後、従来のフレーム順番に戻って出力することも可能である。
【００８７】
図５に実施形態３の構成図を示す。本実施形態の距離計測装置は、実施形態１の構成に対して、対象物に対して近い距離で撮像した画像から遠い距離で撮像した画像へ再生順を変更する時系列変更部５０１と、近い距離で撮像した画像において対象物を検出し、遠い距離で撮像した画像において対象物を探索する対象物検出追跡部５０２と、遠い距離で撮像した画像から近い距離で撮像した画像へと通常の再生順に戻す時系列調整部５１０とが追加される。
【００８８】
時系列変更部５０１は蓄積した画像を後ろから逆再生するために時系列的に画像を後ろから並べる。対象物検出追跡部５０２は、近い距離で撮像した画像において大きなスケールの対象物を検出し、その対象物が遠い距離で撮像した画像において小さなスケールになるまで追跡する。また、距離の時系列調整部５１０は、逆再生した画像を通常の順番に戻すものである。
【００８９】
本実施形態の距離計測装置および距離計測方法によれば、ドライブレコーダーの記録に基づいて、ドライバーの運行状況、例えば、交通ルールへの違反がないかまたは危険な行動がないかなどを解析するオフラインによる画像処理に当たって、近い距離で撮像した画像で大きなスケールの対象物を検出し、その対象物が遠い距離で撮像した画像で小さなスケールになるまで追跡するので、遠距離における対象物の検出率を向上させることができる。
【００９０】
図６を用いて、本発明の効果を簡単に説明する。図６において、以下の条件を設定した。
【００９１】
【表２】
2011064639.tif 000016
【００９２】
以上の条件の下で、特許文献２に示した従来技術を利用する場合、走行距離が１３．９ｍで、ｔ０時刻の距離は６９．５ｍとなる。しかし、カメラの移動方向を考えた本実施形態に示した技術を利用すれば、Ｚ軸方向の走行距離は１２ｍで、ｔ０時刻の実際の距離は６０ｍである。つまり、カメラの移動方向を考慮しなければ、約１４％の誤差を生じる。
【００９３】
以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、特許請求の範囲及び明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【産業上の利用可能性】
【００９４】
本発明は、車両がカーブ、坂などを走行している場合や、車両が不規則走行（車線変更など）をしている場合でも、実サイズが未知の案内看板や非規格化標識までの距離を正確に計測することができる距離計測装置及び距離計測方法として利用可能である。
【符号の説明】
【００９５】
１０１  対象物検出部
１０２  対象物検出結果蓄積部
１０３  対象物スケール算出部
１０４  対象物向き算出部
１０５  対象物指向速度算出部
１０６  対象物距離算出部
３０１，３０３，３０４，３０５  カメラ
３０２，３０６，３０８，３１０  対象物
３０７，３０９，３１１  フレーム
４１０  測距条件判断部
５０１  時系列変更部
５０２  対象物検出追跡部
５１０  時系列調整部
【図１】
2011064639.tif 000017
【図２】
2011064639.tif 000018
【図３】
2011064639.tif 000019
【図４】
2011064639.tif 000020
【図５】
2011064639.tif 000021
【図６】
2011064639.tif 000022