(57)【要約】  本発明にかかる画像処理方法、画像処理装置、撮像装置および画像処理プログラムでは、撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、撮像画像における対象物の長さと、前記対象物の種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離が算出される。
2014171052.tif 000002
【特許請求の範囲】
【請求項１】
撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理方法であって、
前記撮像画像における前記対象物の種類を検出する対象物検出ステップと、
前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記対象物検出ステップで検出された種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出する第１距離算出ステップとを備えること
を特徴とする画像処理方法。
【請求項２】
前記対象物の長さは、前記対象物の種類に応じた方向における前記撮像画像における長さであり、
前記基準長は、前記対象物の種類に応じた方向の長さであること
を特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記対象物の種類が、人、自転車、および、自動二輪のうちのいずれかである場合は、前記対象物の種類に応じた方向は縦方向であること
を特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記対象物の種類が車である場合、前記対象物の種類に応じた方向は，横方向であること
を特徴とする請求項２または請求項３に記載の画像処理方法。
【請求項５】
前記撮像画像における撮像範囲と前記対象物の接地点とに基づいて、前記対象物までの距離を算出する第２距離算出ステップと、
前記第１距離算出ステップおよび前記第２距離算出ステップのいずれか一方で算出した前記対象物までの暫定距離が閾値を下回る場合、前記第１距離算出ステップによって算出した第１距離と前記第２距離算出ステップによって算出した第２距離とを用いて、前記対象物までの距離を算出し、前記暫定距離が前記閾値以上の場合、前記第１距離算出ステップによって算出した第１距離を前記対象物までの距離とする距離推定ステップとを、さらに備える
ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理方法。
【請求項６】
前記距離推定ステップは、前記第１距離と前記第２距離とを用いて、前記対象物までの距離を算出する場合に、前記暫定距離が短い程、前記第１距離よりも前記第２距離により重い重み付けを行い、前記対象物までの距離を算出すること
を特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記閾値は、前記対象物の種類に応じて異なること
を特徴とする請求項５または請求項６に記載の画像処理方法。
【請求項８】
前記対象物は、複数であり、
前記第１距離算出ステップは、前記撮像画像における縦方向の所定範囲に接地点が在る対象物が、同一種類である場合には、各対象物の前記撮像画像における長さを平均した長さと、前記対象物の種類に応じて予め定められている基準長とに基づいて、前記対象物までの距離を算出すること
を特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理方法。
【請求項９】
前記第１距離算出ステップは、前記撮像画像における縦方向の所定範囲に接地点が在る対象物が異なる種類である場合には、各対象物の前記撮像画像における長さを前記種類に応じて予め定められている対象物の基準長で正規化して平均した値を用いて、各対象物の前記長さを修正し、修正した後の長さと、前記種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出すること
を特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記対象物の接地点が、前記撮像画像の上下方向の第１位置より上にあり、且つ、前記撮像画像における前記対象物の長さが、第１閾値より大きい場合、または、前記対象物の接地点が、前記第１位置より下にある第２位置より下にあり、且つ、前記対象物の長さが、第１閾値より小さい第２閾値より小さい場合は、前記対象物までの距離を計測しないこと
を特徴とする請求項１ないし請求項９のいずれか１項に記載の画像処理方法。
【請求項１１】
前記撮像画像は、光学系を有する撮像部により撮像され、前記光学系による歪曲収差が補正された撮像画像であること
を特徴とする請求項１ないし請求項１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記撮像画像は、光学系を有する撮像部により撮像された撮像画像であり、
前記第１距離算出ステップは、前記撮像画像における前記対象物の長さを、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と倍率とを対応付けた補正情報に基づいて補正し、補正後の長さと前記基準長とに基づいて、前記対象物までの距離を算出すること
を特徴とする請求項１ないし請求項１０のいずれか１項に記載の画像処理方法。
【請求項１３】
前記第２距離算出ステップは、前記撮像画像における前記対象物の接地点を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、前記撮像画像における撮像範囲と補正後の接地点とに基づいて、前記対象物までの距離を算出すること
を特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記撮像画像は、光学系を有する撮像部により撮像された撮像画像であり、
前記第１距離算出ステップは、前記撮像画像における前記対象物の長さと、前記対象物検出ステップで検出された種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出し、算出した距離を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、補正後の距離を前記対象物までの距離とすること
を特徴とする請求項１ないし請求項１０のいずれか１項に記載の画像処理方法。
【請求項１５】
前記第２距離算出ステップは、前記撮像画像における撮像範囲と前記対象物の接地点とに基づいて、前記対象物までの距離を算出し、算出した距離を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、補正後の距離を前記対象物までの距離とすること
を特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理装置であって、
前記対象物の種類ごとに、基準長を記憶している記憶部と、
前記撮像画像における前記対象物の種類を検出する対象物検出部と、
前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記記憶部に記憶されている当該対象物の基準長とに基づいて、前記対象物までの距離を算出する距離算出部とを備えること
を特徴とする画像処理装置。
【請求項１７】
対象物を含む被写体を撮像する撮像部と、
請求項１６に記載の画像処理装置と
を備えることを特徴とする撮像装置。
【請求項１８】
撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理装置で用いられる画像処理プログラムであって、
前記対象物の種類ごとに、基準長を記憶している記憶手段と、
前記撮像画像における前記対象物の種類を検出する対象物検出手段と、
前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記記憶手段に記憶されている当該対象物の基準長とに基づいて、前記対象物までの距離を算出する距離算出手段と、してコンピュータを機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から距離を測る技術に関する。
【背景技術】
【０００２】
近年、車両の安全性を高める取り組みとして、前方の障害物を検出して危険を警告したり、先行車との距離を測って車間距離を一定に保ったりすることが試みられている。【０００３】
例えば、自車両と先行車両との距離を、前記自車両に装着されたカメラの映像から検出する技術が提案されている（特許文献１参照）。この技術によれば、車線検出のための１つのカメラの画像から、カメラの焦点距離と画像内の測距対象物（目標物）の垂直座標とに基づいて対象物までの距離が算出される。そして、路面の形状が推測され、推測された形状に基づいて距離が補正されて実際の距離が算出される。【０００４】
しかし、上述のような対象物の垂直座標に基づいて距離を算出する方法（接地点法）では、路面形状の推定に誤差が生じた場合には、対象物までの距離の誤差が大きくなってしまう。特に、遠距離に対象物が在る場合には、誤差は、顕著になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３６６９３６号公報
【発明の概要】
【０００６】
そこで、本発明は、上述の事情に鑑みて為された発明であり、その目的は、１つのカメラの画像から、画像内の対象物までの距離を精度よく測定できる方法を提供することである。
【０００７】
本発明にかかる画像処理方法、画像処理装置、撮像装置および画像処理プログラムでは、撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、撮像画像における対象物の長さと、前記対象物の種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離が算出される。したがって、本発明にかかる画像処理方法、画像処理装置、撮像装置および画像処理プログラムは、１つのカメラの画像から、画像内の対象物までの距離を精度よく測定できる。
【０００８】
上記ならびにその他の本発明の目的、特徴および利点は、以下の詳細な記載と添付図面から明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１】実施形態１の画像処理システム構成を示す図である。
【図２】図１に示す画像処理部の対象物サイズ情報テーブル１６１０の構成および内容の例を示す図である。
【図３】サイズ法を説明するための図である。
【図４】チャートを説明するための図である。
【図５】サイズ法のセットアップ処理において、チャートを撮像した撮像画像を説明するための図であり、図５Ａは、チャートの一部が写った撮像画像の例を示す図であり、図５Ｂは、チャートの全体が写った撮像画像の例を示す図である。
【図６】サイズ法を用いた測距処理を説明するための図である。
【図７】接地点法を説明するための図である。
【図８】接地点法のセットアップ処理において、チャートを撮像した撮像画像を説明するための図であり、図８Ａは、チャートの一部が写った撮像画像の例を示す図であり、図８Ｂは、チャートの全体が写った撮像画像の例を示す図である。
【図９】接地点法を用いた測距処理を説明するための図である。
【図１０】接地点法における誤差を説明するための図である。
【図１１】対象物が車の場合のサイズ法における誤差を説明するための図である。
【図１２】サイズ法と接地点法との重み付けを説明するための図である。
【図１３】サイズ法と接地点法との重み付けを説明するための図である。
【図１４】サイズ法と接地点法との重み付けを説明するための図である。
【図１５】サイズ法と接地点法との重み付けを説明するための図である。
【図１６】対象物が人の場合のサイズ法における誤差を説明するための図である。
【図１７】サイズ法と接地点法との重み付けを説明するための図である。
【図１８】サイズ法と接地点法との重み付けを説明するための図である。
【図１９】サイズ法と接地点法との重み付けを説明するための図である。
【図２０】サイズ法と接地点法との重み付けを説明するための図である。
【図２１】図１の画像処理部のセットアップ処理のフローチャートである。
【図２２】図１の画像処理部の測距処理のフローチャートである。
【図２３】実施形態２のグループ化を説明するための図である。
【図２４】実施形態２のグループ化を説明するための図である。
【図２５】実施形態２の対象物の抽出処理のフローチャートである。
【図２６】実施形態３の距離算出不能の対象物を説明するための図である。
【図２７】実施形態４の画像処理システム構成を示す図である。
【図２８】実施形態４の撮像画像の歪曲収差の補正を説明するための図である。
【図２９】実施形態４の撮像画像の歪曲収差の補正を説明するための図であり、図２９Ａは、撮像画像の座標系を示す図であり、図２９Ｂは、第１補正テーブル（サイズ法）の構成および内容の例を示す図であり、図２９Ｃは、第２補正テーブル（接地点法）の構成および内容の例を示す図である。
【図３０】図２９の補正用テーブルを使用した場合の実施形態４の測距処理のフローチャートである。
【図３１】実施形態４の撮像画像の歪曲収差の補正を説明するための図であり、図３１Ａは、撮像画像の座標系を示す図であり、図３１Ｂは、第１補正テーブル（サイズ法）の構成および内容の例を示す図であり、図３１Ｃは、第２補正テーブル（接地点法）の構成および内容の例を示す図である。
【図３２】図３１の補正用テーブルを使用した場合の実施形態４の測距処理のフローチャートである。
【図３３】画像処理部が搭載される構成例を示す図であり、図３３Ａは、画像処理部をカメラに搭載した例を示す図であり、図３３Ｂは、画像処理部をパソコン等に搭載した例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【００１１】
＜実施形態１＞
図１は、実施形態１の画像処理システムの構成を示す図である。画像処理部１０００は、撮像部２０００から被写体の撮像画像を取得し、取得した画像内の対象物までの距離を算出し、算出した距離を出力部３０００に出力する。
【００１２】
撮像部２０００は、いわゆるカメラであり、光学系２１００、撮像素子２２００、および、Ａ／Ｄ変換部２３００を含む。光学系２１００は、レンズ等で構成され、光軸上に配置される撮像素子２２００の撮像面に被写体の光学像を結像させる。撮像素子２２００は、光学系２１００により結像された光学像をアナログの撮像信号に変換し、Ａ／Ｄ変換部２３００に出力する。Ａ／Ｄ変換部２３００は、撮像素子２２００から入力されたアナログの撮像信号をＡ／Ｄ変換して、デジタルの撮像データ（撮像画像）として出力する。なお、撮像データに対して、他の画像処理、例えば、ホワイトバランス調整等の画像処理を施しても良い。
【００１３】
本実施形態では、１台の可視光等のカメラ（単眼）で撮像された撮像画像が用いられるが、複数のカメラで撮像された画像が用いられてもよい。例えば、可視光カメラと遠赤外線カメラとの２眼で撮像された撮像画像や、可視光カメラと近赤外線カメラとの２眼で撮像された撮像画像が用いられてもよい。
【００１４】
出力部３０００は、画像処理部１０００によって算出された対象物までの距離を出力（提示）する装置であり、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  ＴｕＢｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｉｍｉｎｅｓｅｎｃｅ）ディスプレイ、および、プラズマディスプレイ等の表示装置である。
【００１５】
図３３に、画像処理部１０００が搭載される構成例を示す。図３３Ａには、画像処理部１０００を、カメラに搭載した例が示されている。このカメラは、車載カメラ、監視カメラ等である。監視カメラの場合は、室内に設置され、人までの距離などが測定される。また、画像処理部１０００は、カメラ付きのヘッドマウントディスプレイに搭載されても良い。カメラには、撮像部２０００に相当するカメラ部、画像処理部１０００が実現されるデジタル処理回路、出力部３０００に相当する画像表示部、フラッシュメモリ等の記録部を装着するカードＩ／Ｆ部、全体を制御するＣＰＵ（Ｃｅｎｔｒｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有する。
【００１６】
また、図３３Ｂに示すように、画像処理部１０００は、撮像部２０００を含まない情報処理装置、例えば、マウスやキーボード等の入力媒体を備えるパソコン等に搭載されてもよい。この場合は、撮像画像は、ネットを介して、または、過般性の外部記憶装置等を介して取得される。情報処理装置は、ＣＰＵおよびメモリ等を有するマイクロコンピュータを備え、ＣＰＵが画像処理プログラムを実行することで画像処理部１０００が実現される。情報処理装置は、撮像画像内の対象物までの距離を算出し、出力部３０００に相当するモニタに出力する。なお、画像処理部１０００は、携帯機器、スマートフォン等に搭載されてもよい。
【００１７】
ここで、画像処理部１０００の構成を説明する前に、実施形態の測距方法について、説明する。
【００１８】
＜測距方法＞
実施形態では、２つの異なる測距方法を併用することで、撮像位置から撮像画像内の対象物までの距離を精度良く測定する。以下、実施形態で使用する２つの測距方法のうちの１つの方法が「サイズ法」と呼ばれ、他の方法が「接地点法」と呼ばれるものとする。
【００１９】
＜サイズ法＞
まず、サイズ法について、図２ないし図６を用いて説明する。サイズ法は、対象物のサイズ（長さを示す画素数）と距離とが反比例することを利用して、距離の推定を行うものである。このサイズ法は、大きく２つの処理に分かれる。これら２つの処理は、実際に測距を行う前のセットアップ処理と、対象物までの距離を算出する測距処理とである。
【００２０】
セットアップ処理では、測距処理において必要となるパラメータが算出される。そして、測距処理では、撮像画像から対象物として、人や車、自動二輪、自転車などが抽出され、その対象物ごとに、セットアップ処理で算出されたパラメータを用いて、距離が推定（算出）される。
【００２１】
図３を用いて、サイズ法の仕組みを説明する。セットアップ処理において、ユーザ（セットアップを行う者）は、チャート１０を、光学系２１００の主点１３からの距離Ｚａ、Ｚｂの位置それぞれで撮影する（Ｚａ≠Ｚｂ）。図４に、チャート１０の例が示されている。実施形態では、チャート１０は、細長い棒状のものとし、全長Ｌｃ（ｍ）とする。
【００２２】
また、図３に示すように、距離Ｚａの位置のチャート１０を撮像した撮像画像のＹ方向（縦方向）の画素数（両端矢印で示す）における、チャート１０の占めるＹ方向の画素数（画素サイズ）をＹａとし、距離ＺＢの位置のチャート１０を撮像した撮像画像における、チャート１０の占めるＹ方向の画素数をＹｂとすると、パラメータである定数Ｃが、以下の式（１）で算出される。
Ｚａ×Ｙａ÷Ｌｃ＝（Ｚｂ×Ｙｂ÷Ｌｃ）＝Ｃ      ・・・（１）
なお、式（１）の（  ）内は、求めなくてもよい。
【００２３】
次に、測距処理においては、定数Ｃを用いて、対象物１１までの距離が算出される。対象物１１までの距離をＺとし、対象物１１の画素数をＹｐとし、対象物１１の高さ（実際の高さ）をＬｐとすると、以下の式（２）により、距離Ｚが算出される。
Ｚ＝Ｃ÷（Ｙｐ÷Ｌｐ）      ・・・（２）
つまり、対象物の高さＬｐが分かれば、距離が算出できることになる。したがって、このサイズ法では、対象物の高さＬｐが、対象物の種類ごとに「基準サイズ（基準長）」として予め決められ、基準サイズに基づいて、対象物までの距離が算出される。
【００２４】
この対象物ごとの基準サイズは、対象物において変動の少ない向き（方向）で仮定される。つまり、対象物ごとのばらつき（実際の人の違いなど）や、時間による変化が生じ難い安定した向きに沿って基準サイズが設定される。対象物が人の場合、人の動き（向き）によって横幅は、安定せず、持ち物の影響などからも横幅は、安定しない。自転車や自動二輪は、撮影時の向き（画像に写った対象物の向き）などの影響で、横幅は、安定しない。一方、車は、車種の違い（普通車とトラックの違いなど）で高さが大きく異なるが、横幅は、おおよそ同じサイズ（長さ）である。
【００２５】
したがって、人や自転車などは、高さを基準として基準サイズが設定され、車などは、幅を基準として基準サイズが設定される。実施形態では、基準サイズを、例えば、車は、幅２ｍ(メートル)と、人は、高さ１．７ｍと、自動二輪は、高さ１．７ｍと、自転車は、高さ１．７ｍとそれぞれ仮定する。
【００２６】
図２に、基準サイズを管理する対象物サイズ情報テーブル１６１０の構成およびその内容の例が示されている。このテーブルは、後述する画像処理部１０００の対象物サイズ情報記憶部１６００に記憶されているものであり、画像処理部１０００が距離を算出する際に参照される。
【００２７】
対象物サイズ情報テーブル１６１０は、種類１６１１、基準サイズ１６１２、および、方向１６１３を有する。種類１６１１は、対象物の種類を示す。基準サイズ１６１２は、種類１６１１が示す種類の基準サイズを示し、方向１６１３は、その向きを示す。
【００２８】
ここで、図４のチャート１０について説明する。実施形態のチャート１０の全長Ｌｃは、例えば２ｍであり、０．２ｍの白部と黒部とが交互に全部で１０個配置されている。また、各白部には、それぞれ異なるマーク２０が付されている。マーク２０は、チャート１０の一部のみが撮影された場合に、後述する接地点法のパラメータを求める際に使用される。
【００２９】
図５は、チャート１０が撮像された撮像画像を示す。図５Ａは、チャート１０の一部が撮像された撮像画像を示し、図５Ｂは、チャート１０の全体が撮像された撮像画像を示す。例えば、図５Ａは、図３の距離Ｚａ、例えば２ｍの位置のチャート１０の撮像画像であり、図５Ｂは、距離Ｚｂ、例えば３ｍの位置のチャート１０の撮像画像である。
【００３０】
図５Ａに示すように、撮像画像にチャート１０の一部分しか写っていなかったとしても、白部と黒部とが交互に配置されていることから、チャート１０の全長Ｌｃを求めることが可能となる。つまり、撮像画像に写っている部分の、チャート１０の全長Ｌｃに対する割合が分かるので、その割合から、チャート１０の全長Ｌｃの画素数が算出される。例えば、白部および黒部が７つ写っているので、それらの画素数は、Ｌｃの画素数の７割（Ｙ１）であることが分かり、それらの画素数に７分の１０を乗算することでＬｃの画素数（Ｙａ）が算出されることになる。
【００３１】
図６には、測距処理により各対象物までの距離を求める例が示されている。図６に示すように、各対象物の画素数が検出され、上記式（２）が用いられることで、それぞれの対象物までの距離が算出される。例えば、対象物が「人」の場合は、縦の画素数Ｙｐ１、Ｙｐ２が検出され、対象物が「車」の場合は、横の画素数Ｙｐ３、Ｙｐ４が検出される。そして、例えば、撮像画像の左側のように、画素数Ｙｐ１の対象物「人」と、の画素数Ｙｐ２の対象物「人」が検出された場合、画素数Ｙｐ１の方が画素数Ｙｐ２よりも大きい場合は、画素数Ｙｐ１の対象物「人」まで距離は、画素数Ｙｐ２の対象物「人」までの距離よりも短く算出されることになる。
【００３２】
なお、撮像画像から対象物を抽出する方法は、パターンマッチング等の従来技術により抽出するものとする。また、ニューラルネットを利用した抽出方法が用いられても良い。本実施形態では、対象物が人や自転車等である場合では、その高さ（縦向きの画素数）が、分かればよく、車等の場合では、横幅（横向きの画素数）が分かればよい。なお、車の横幅は、車の対称性、例えば、テールランプやタイヤ等から、容易に検出できる。
【００３３】
＜接地点法＞
次に、接地点法について、図７ないし図９を用いて説明する。接地点法は、人の足や車のタイヤ部など路面に設置する部分は、距離が遠くになるほど画像上部に位置することを利用して、距離を推定する方法である。
【００３４】
接地点法も、サイズ法と同様に、大きく２つの処理に分かれる。これら２つの処理は、実際に測距を行う前のセットアップ処理と、対象物までの距離を算出する測距処理とである。接地点法のセットアップ処理でも、サイズ法と同様に、測距処理において必要となるパラメータの算出が行われる。そして、測距処理では、撮像画像から対象物として、人や車、自動二輪、自転車などが抽出され、その対象物ごとに、セットアップ処理で算出したパラメータを用いて、距離が推定される。
【００３５】
図７を用いて、接地点法の仕組みを説明する。セットアップ処理において、ユーザは、チャート１０を、光学系２１００の主点１３からの距離Ｚａ、Ｚｂの位置それぞれで撮影する。チャート１０は、サイズ法と同じく、図４に示す全長Ｌｃのチャート１０である。
【００３６】
図７に示すように、まず、撮像画像内のチャート１０の位置から、撮像画像の上下端それぞれの路面からの実際の高さが算出される。
【００３７】
図７における撮像画像２０、撮像画像２１は、それぞれ、距離Ｚａ、距離Ｚｂに設置されたチャート１０の撮像画像である。チャート１０の下辺に接する破線は、地面（Ｙ＝０）を示し、その上の破線は、無限遠での地面（Ｙ＝Ｙｓ）を示す。
【００３８】
まず、チャート１０の全長Ｌｃに基づいて、撮像画像２０の上端位置Ｙａｔ、および、下端位置Ｙａｂが算出され、撮像画像２１の上端位置Ｙｂｔ、および、下端位置Ｙｂｂが算出される。
【００３９】
図８に、チャート１０が撮像された撮像画像が示されている。図８Ａは、図７の撮像画像２０を示し、図８Ｂは、撮像画像２１を示す。
【００４０】
図８Ａに示すように、撮像画像にチャート１０の上部しか写っていなかった場合には、白部と黒部との数から、写っている部分の全長Ｌｃに対する割合が求められる。その割合から、撮像画像２０の上端位置Ｙａｔ、および、下端位置Ｙａｂが算出される。撮像画像に写っていない長さが、下端位置Ｙａｂとなる。撮像画像にチャート１０の中央部分しか写っていなかった場合には、白部に設けられているマーク２０から、その白部が下から何番目の白部であるかが分かるので、下端位置Ｙａｂが算出される。
【００４１】
図８Ｂに示すように、チャート１０の全長Ｌｃが写っている場合には、チャート１０の撮像画像の高さに対する割合と位置から、撮像画像２１の上端位置Ｙｂｔ、および、下端位置Ｙｂｂが算出される。
【００４２】
そして、撮像画像２０の上端と撮像画像２１の上端とを結ぶ上端の式（Ｙ＝Ａｔ×Ｚ＋Ｙｓ）に、（Ｚａ、Ｙａｔ）および（Ｚｂ、Ｙｂｔ）を代入することで、傾きＡｔと切片Ｙｓが求められる（以下の式（３−１）、式（３−２）参照）。
Ａｔ＝（Ｙｂｔ−Ｙａｔ）÷（Ｚｂ−Ｚａ）      ・・・（３−１）
Ｙｓ＝Ｙａｔ−Ｚａ×（Ｙｂｔ−Ｙａｔ）÷（Ｚｂ−Ｚａ）      ・・・（３−２）
【００４３】
同様に、撮像画像２０の下端と撮像画像２１の下端とを結ぶ下端の式（Ｙ＝Ａｂ×Ｚ＋Ｙｓ’）に、（Ｚａ、Ｙａｂ）および（Ｚｂ、Ｙｂｂ）を代入することで、傾きＡｂと切片Ｙｓ’が求められる（以下の式（４−１）、式（４−２）参照）。
Ａｂ＝（Ｙｂｂ−Ｙａｂ）÷（Ｚｂ−Ｚａ）      ・・・（４−１）
Ｙｓ’＝Ｙａｔ−Ｚａ×（Ｙｂｂ−Ｙａｂ）÷（Ｚｂ−Ｚａ）      ・・・（４−１）
【００４４】
セットアップ処理では、上端の傾きＡｔ、切片Ｙｓ、下端の傾きＡｂ、切片Ｙｓ’がパラメータとして求められる。なお、主点１３（０、Ｙｓ）、撮像画像２０の上端（Ｚａ、Ｙａｔ）、撮像画像２１の上端（Ｚｂ、Ｙｂｔ）の３点を最小自乗近似して、上端の式が求められてもよい。下端の式も同様である。
【００４５】
次に、測距処理において、撮像画像２２に写った対象物１１までの距離が算出される。対象物１１までの距離をＺとし、撮像画像２２の高さをｈ（画素）とし、対象物１１の接地点のＹ座標をｐ（画素）とすると、以下の式（５）が導き出せ、式（６）により、距離Ｚが算出される。
（Ａｔ×Ｚ＋Ｙｓ）÷（Ａｔ×Ｚ＋Ｙｓ−Ａｂ×Ｚ−Ｙｓ’）＝ｐ÷ｈ    ・・・（５）
Ｚ＝（Ｙｓ×ｈ−（Ｙｓ−Ｙｓ’）÷ｐ）÷（（Ａｔ−Ａｂ）ｐ−Ａｔ×ｈ）  ・・・（６）
【００４６】
次に、図９に、測距処理により各対象物までの距離を求める例が示されている。図９に示すように、対象物の毎に接地点のＹ座標Ｐ１〜Ｐ４が見つけられ、上記式（６）が用いられることで、それぞれの対象物までの距離が算出される。
【００４７】
＜サイズ法と接地点法の併用＞
次に、サイズ法と接地点法との効果的な併用方法について、図１０ないし図２０を用いて説明する。図１０は、接地点法の誤差を説明するための図である。接地点法による距離の誤差は、接地点の算出誤差によって生じる。したがって、接地点の算出誤差が、上下に１０画素の誤差が生じた場合を想定する。
【００４８】
図１０のグラフは、横軸は、対象物までの実際の距離を示し、縦軸は、接地点法で求めた（推定した）距離を示す。横軸、縦軸ともに、単位は、メートル（ｍ）である。実線のグラフは、理想的な推定結果を示すグラフである、１点鎖線のグラフは、検出した接地点が上に１０画素ずれていた場合の推定結果を示すグラフであり、破線のグラフは、検出した接地点が下に１０画素ずれていた場合の推定結果を示すグラフである。これら推定結果は、撮像画像のサイズが６４０×４８０画素、カメラの高さが１．５ｍで、対象物の高さが２ｍで、水平画角が３６．９度で、カメラの傾きが４．５７度下向き（空が、撮像画像の上部３分の１）である条件で求めた場合の推定結果である。
【００４９】
図１０に示すように、撮像画像サイズが縦４８０画素で横６４０画素である場合、例えば、車の振動などの影響で、画像が±１０画素上下しただけで、対象物が自車から離れているほど大幅に推定精度が落ちることが分かる。この例の場合、距離推定の誤差２５%以下を保証できる算出距離は、距離２８ｍまでである。
【００５０】
この点、サイズ法の場合は、対象物のサイズ（長さを示す画素数）を用いて距離を算出するので、車の振動などで画像が上下してもサイズ自体に変化は、生じないことから、車の振動などは、距離の算出精度に影響を与えないことになる。したがって、サイズ法は、遠距離の場合でも安定して距離を推定できることになる。
【００５１】
次に、図１１は、サイズ法の誤差を説明するための図である。サイズ法による距離の誤差は、対象物の実際のサイズと基準サイズとの誤差によって生じる。
【００５２】
つまり、サイズ法は、仮定した基準サイズと、撮像画像内の対象物の実際のサイズが一致していれば精度よく距離を推定できる。しかし、例えば、子供のように基準サイズからの乖離が大きくなると精度が悪くなる。身長１．２ｍの子供を１．７ｍと仮定した場合、誤差は、１．７／１．２倍だけ遠くにいると間違えて、距離を算出することになる。なお、対象物の実際のサイズが基準サイズに対しばらつきがある場合、やや小さめに仮定して基準サイズが決定されても良い。例えば、人の伸長にはばらつきがあることから、人の基準サイズは、やや低めの１．５ｍと仮定される。実際のサイズが１．７ｍの人を検出して距離を推定した場合、１．５／１．７倍近くにいると間違えるため、人への衝突検知の場合には早めに警告できることとなり、誤差を利点とすることができるからである。
【００５３】
ここで、対象物が人（子供）であり、実際のサイズが１．２ｍである場合に、基準サイズ１．７ｍで距離を算出した推定結果が図１１に示されている。図１１のグラフは、図１０のグラフに、サイズ法による推定結果を追加したものである。細かい破線のグラフが、サイズ法による推定結果を示すグラフである。
【００５４】
このグラフから、実際の距離が４０ｍまでの場合では、サイズ法よりも接地点法の方が推定の精度が良いことが分かり、距離が４０ｍ以上の場合では、接地点法よりもサイズ法の方が推定の精度が良いことが分かる。
【００５５】
すなわち、サイズ法は、遠距離では精度良く推定できるが、対象物の実際のサイズが仮定した基準サイズからずれている場合には、誤差が大きくなるため、近距離では接地点法を併用することで距離推定精度を向上できる。
【００５６】
例えば、図１２に示すように、サイズ法により、対象物までの距離（暫定距離）が４０ｍ（閾値Ｄｔｈ１）より近いという算出結果が出た場合には、サイズ法と接地点法とのそれぞれの推定距離に重み付けした結果が、推定距離として出力される。サイズ法により距離が４０ｍ以上と算出された場合には、その算出距離が推定距離とされる。ここで、閾値Ｄｔｈ１として用いた４０ｍは、図１０のグラフでの接地点法による推定誤差とサイズ法による推定誤差とが逆転する距離である。なお、閾値Ｄｔｈ１を４０ｍに限定するものではない。また、閾値Ｄｔｈ１は、サイズ法で距離を算出する際の対象物の画素数で判定してもよい。さらに、図１２では、重み付けの比率は、サイズ法により算出された距離に比例しているが、破線２５で示すように、接地点法により推定された距離に対する重み付けが、より重くされても良い。近距離ほど、接地点法の方が推定の精度が高いからである。
【００５７】
また、図１３に示すように、最初にサイズ法により距離を推定する代わりに、接地点法により距離が推定され、その推定結果から、重み量が算出されるようにしても良い。この場合、閾値は、距離を算出する際の接地点のＹ座標（画素）で判定してもよい。
【００５８】
また、例えば、図１４に示すように、距離が０ｍの位置で０．５の重みになるような重み付けが為されても良い。さらに、図１５に示すように、例えば、距離（Ｄｔｈ２）が５ｍ以下のような近距離の対象物を測距する場合、サイズ法のみに重み付けが為され、サイズ法のみにより距離が推定されても良い。この５ｍとは、接地点位置が撮像画像の下端より下にあるような距離である。この場合、サイズ法からの距離が閾値Ｄｔｈ２で判定されても良いが、接地点位置が画像下端である（例えば、車のタイヤが下端をはみ出している）ことが条件とされても良い。
【００５９】
上述の図１１ないし図１５では、対象物が人（子供）であり、実際のサイズが１．２ｍである場合に、基準サイズ１．７ｍで距離を算出した推定結果が示されている。
【００６０】
一方、図１６ないし図２０には、対象物が車であり、実際のサイズが２．０ｍである場合に、基準サイズ２．５ｍで距離を算出した推定結果が示されている。
【００６１】
図１６のグラフは、図１０のグラフに、対象物が車の場合の、サイズ法による推定結果を追加したものである。細かい破線のグラフが、サイズ法による推定結果を示すグラフである。
【００６２】
このグラフでは、実際の距離が０から３５ｍまでの範囲である場合では、サイズ法よりも接地点法の方が推定の精度が良いことが分かり、実際の距離が３５ｍ以上である場合では、接地点法よりもサイズ法の方が推定の精度が良いことが分かる。
【００６３】
したがって、例えば、図１７に示すように、対象物が車である場合には、サイズ法により対象物までの距離が３５ｍ（閾値Ｄｔｈ３）より近い、という算出結果が出た場合に、サイズ法と接地点法とのそれぞれの推定距離に重み付けした結果が、推定距離として出力されるようにしてもよい。なお、算出結果が３５ｍ（閾値Ｄｔｈ３）以上である場合には、サイズ法のみに重み付けが為され、サイズ法のみにより距離が推定される。また、上述の図１７での最初にサイズ法により距離が推定される代わりに、図１８に示すように、接地点法により距離が推定され、その推定結果から、重み量が算出されようにしても良い。また、上述の図１７では距離が０ｍの位置で重みが０であるが、例えば、図１９に示すように、距離が０ｍの位置で０．５の重みになるような重み付けが為されても良い。さらに、図２０に示すように、例えば、距離（Ｄｔｈ４）が５ｍ以下のような近距離の対象物を測距する場合は、サイズ法のみに重み付けが為され、サイズ法のみにより距離が推定されても良い。この５ｍとは、接地点位置が撮像画像の下端より下にあるような距離である。この場合、サイズ法からの距離を閾値Ｄｔｈ４で判定されても良いが、接地点位置が画像下端である（例えば、車のタイヤが下端をはみ出している）ことが条件とされても良い。
【００６４】
なお、実施形態では、「サイズ法」と「接地点法」とが併用されているが、何れか一方のみで測距処理が実行されてもよい。上述したように、それぞれの方法で、精度よく測距できる距離が異なるので、測距する対象物に応じて、何れかの方法が採用されてもよい。例えば、遠方の対象物のみを測距する場合、サイズ法のみが採用される等である。
【００６５】
＜構成＞
以下、画像処理部１０００の機能的な構成について、図１を用いて説明する。画像処理部１０００は、パラメータ算出部１１００、距離推定部１２００、対象物検出部１３００、第１距離算出部１４００、第２距離算出部１５００、および、対象物サイズ情報記憶部１６００を備える。
【００６６】
画像処理部１０００は、セットアップ処理を行うセットアップモードと、測距処理を行う測距モードとを有し、ユーザがモードを設定するものとする。
【００６７】
パラメータ算出部１１００は、上述の、サイズ法における定数Ｃを、式（１）を用いて算出し、接地点法における撮像画像の上端の傾きＡｔ、および、切片Ｙｓ、下端の傾きＡｂ、および、切片Ｙｓ’を、式（３）、（４）を用いて求める。パラメータ算出部１１００は、セットアップモードが設定された場合に、実行される。
【００６８】
距離推定部１２００は、撮像部２０００から取得した撮像画像内の対象物までの距離を算出する機能を有する。距離推定部１２００は、対象物検出部１３００等の他の機能部を制御し、最終的な推定距離を算出する。距離推定部１２００は、測距モードが設定された場合に、実行される。
【００６９】
対象物検出部１３００は、距離推定部１２００からの依頼により、撮像画像内の対象物を抽出し、対象物の種類と、種類の向き（方向）に応じた画素サイズ（対象物の長さを示す画素数）、対象物の位置座標等を距離推定部１２００に渡す機能を有する。
【００７０】
第１距離算出部１４００は、距離推定部１２００からの依頼により、上述したサイズ法により対象物までの距離を算出し、距離推定部１２００に渡す機能を有する。
【００７１】
第２距離算出部１５００は、距離推定部１２００からの依頼により、上述した接地点法により対象物までの距離を算出し、距離推定部１２００に渡す機能を有する。
【００７２】
対象物サイズ情報記憶部１６００は、対象物ごとの基準サイズと向きとを記憶しておく機能を有する。具体的には、上述した、対象物サイズ情報テーブル１６１０（図２参照）を記憶している。
【００７３】
＜動作＞
以下、画像処理部１０００のセットアップ処理について、図２１を用いて説明し、測距処理について、図２２を用いて説明する。図２１は、画像処理部１０００のセットアップ処理のフローチャートである。
【００７４】
セットアップ処理を行うユーザ（初期設定者）は、まず、画像処理部１０００にセットアップモードを指示し、チャート１０を撮像部２０００から距離Ｚａ、例えば２ｍの位置に設置し、撮像部２０００の撮像ボタン（不図示）を押下して、撮像を指示する（ステップＳ５０）。
【００７５】
撮像部２０００の撮像素子２２００は、光学系２１００により結像された光学像をアナログの撮像信号に変換し、Ａ／Ｄ変換部２３００に出力する。Ａ／Ｄ変換部２３００は、撮像素子２２００から入力したアナログの撮像信号をＡ／Ｄ変換して、デジタルの撮像データ（撮像画像）として画像処理部１０００に出力する。
【００７６】
次に、ユーザは、チャート１０を撮像部２０００から距離Ｚｂ、例えば３ｍの位置に設置し、撮像部２０００の撮像ボタン（不図示）を押下して、撮像を指示する（ステップＳ５１）。撮像部２０００は、撮像画像を画像処理部１０００に出力する。
【００７７】
撮像部２０００から、チャート１０を距離Ｚａと距離Ｚｂとに設置して撮像した２枚の撮像画像を取得したパラメータ算出部１１００は、上述したように、サイズ法における定数Ｃを、式（１）を用いて算出し、接地点法における撮像画像の上端の傾きＡｔ、および、切片Ｙｓ、下端の傾きＡｂ、および、切片Ｙｓ’を、式（３）、（４）を用いて算出する（ステップＳ５２）。パラメータ算出部１１００は、算出したこれらのパラメータを、画像処理部１０００の内部の記憶領域に記憶する。この記憶領域は、画像処理部１０００の各機能部から参照可能とする。
【００７８】
各パラメータを記憶領域に記憶させたパラメータ算出部１１００は、セットアップが完了した旨を出力部３０００に出力する。
【００７９】
次に、測距処理について説明する。図２２は、画像処理部１０００の測距処理のフローチャートである。
【００８０】
ユーザは、まず、画像処理部１０００に測距モードを指示する。撮像部２０００は、所定の周期で、撮像画像を画像処理部１０００に出力し、画像処理部１０００の距離推定部１２００は、撮像画像を取得する（ステップＳ１０）。
【００８１】
撮像画像を取得した距離推定部１２００は、対象物検出部１３００に対象物の検出を依頼する。依頼を受けた対象物検出部１３００は、撮像画像内の対象物、すなわち、人、車、自転車、自動２輪等を抽出し、抽出した対象物の数、対象物それぞれの種類、種類の向き（方向）に応じた画素サイズ、位置座標等の情報を、距離推定部１２００に渡す（ステップＳ１１）。対象物検出部１３００は、対象物サイズ情報記憶部１６００の対象物サイズ情報テーブル１６１０（図２参照）を参照して、対象物の種類に応じた向きの画素数を求める。例えば、種類が「人」である場合は、種類１６１１として「人」が設定されているレコードから、方向１６１３として設定されている「高さ」を読み出し、抽出した対象物の高さの画素数を求める。
【００８２】
次に、距離推定部１２００は、対象物検出部１３００から渡された対象物それぞれについて、ステップＳ１２からステップＳ１８までの処理を行って、距離を推定（決定）する。
【００８３】
距離推定部１２００は、１つの対象物が「人」（自転車、自動２輪を含むものとする）であるのか「車」であるのかを判断し、閾値と基準サイズを設定する。具体的には、対象物が「人」である場合では（ステップＳ１２：「人」）、距離推定部１２００は、閾値を４０ｍとし、対象物サイズ情報テーブル１６１０を参照して基準サイズを「１．７ｍ」とする（ステップＳ１４）。また、対象物が「車」である場合では（ステップＳ１２：「車」）、距離推定部１２００は、閾値を３５ｍとし、対象物サイズ情報テーブル１６１０を参照して基準サイズを「２．０ｍ」とする（ステップＳ１３）。
【００８４】
次に、距離推定部１２００は、第１距離算出部１４００に対象物までの距離の算出を依頼する。依頼を受けた第１距離算出部１４００は、上述のサイズ法で説明したように、対象物までの距離を算出し、暫定距離として距離推定部１２００に渡す（ステップＳ１５）。
【００８５】
距離推定部１２００は、第１距離算出部１４００から受け取った暫定距離が、閾値以上である場合では（ステップＳ１６：Ｙｅｓ）、暫定距離を対象物までの距離と決定する（ステップＳ１８）。
【００８６】
一方、第１距離算出部１４００から受け取った暫定距離が、閾値より小さい場合では（ステップＳ１６：Ｎｏ）、距離推定部１２００は、第２距離算出部１５００に対象物までの距離の算出を依頼する。依頼を受けた第２距離算出部１５００は、上述の接地点法で説明したように、対象物までの距離を算出し、暫定距離として距離推定部１２００に渡す（ステップＳ１７）。
【００８７】
第２距離算出部１５００から暫定距離を受け取った距離推定部１２００は、第１距離算出部１４００から受け取った暫定距離（第１距離）と、第２距離算出部１５００から受け取った暫定距離（第２距離）とに、例えば、図１２に示す重み付けを行って、対象物までの距離を決定する（ステップＳ１８）。
【００８８】
ステップＳ１８で、対象物までの距離を決定した距離推定部１２００は、対象物検出部１３００から渡された他の対象物がある場合には（ステップＳ１９：Ｎｏ）、ステップＳ１２から処理を行い、すべての対象物について距離を決定したら（ステップＳ１９：Ｙｅｓ）、対象物ごとの距離を出力部３０００に出力する（ステップＳ２０）。
【００８９】
ユーザにより測距処理の終了指示が無い場合は（ステップＳ２１：Ｎｏ）、ステップＳ１０からの処理が繰り返えされ、終了指示があった場合は（ステップＳ２１：Ｙｅｓ）、処理が終了される。
【００９０】
なお、実施形態では、サイズ法で求めた距離と閾値とを比較することとしたが、ステップＳ１５において接地点法で距離が求められても良い。
【００９１】
＜実施形態２＞
実施形態１では、撮像画像内の対象物それぞれについて距離が算出されたが、実施形態２では、対象物のグループ化が行われ、グループ毎に距離が算出される。接地点位置が略同一である対象物が、１つのグループとされる。
【００９２】
図２３には、同一種類の対象物をグループ化した例が示されている。例えば、種類が「人」である対象物３０と、種類が「人」である対象物３１とが、検出され、対象物３０と対象物３１の接地点がほぼ同じ、例えば、±３画素以内である場合に、この２つの対象物が１つのグループとされる。ほぼ同じ接地点位置のこのような２人は、並行して歩いているほぼ同じ距離にいる人であり、その画素サイズ差は、身長差である。そこで、接地点が±３画素以内と略同一とみなせる対象物は、グループ化され、その平均サイズで、サイズ法により対象物までの距離が推定される。ここでは、人を例として示したが、他の対象物（自転車どうし、車どうし等）でも良い。
【００９３】
また、図２４には、異なる種類の対象物を同一グループとする例が示されている。例えば、種類が「人」である対象物３２と、種類が「車」である対象物３３とが、検出され、対象物３０と対象物３１との各接地点が略同じ、例えば、±３画素以内である場合に、この２つの対象物が１つのグループとされる。
【００９４】
このように人と車との接地点位置が略同じである場合には、画素サイズを基準サイズで正規化した上で平均化することで、グループ化して距離が算出できる。例えば、車の横幅２ｍ（基準サイズ）が３０画素、人の高さ１．７ｍ（基準サイズ）が２８画素であるとすると、車は、１ｍあたり１５画素、人は、１ｍあたり１６．４７画素と計算できる。これを平均化すると１ｍあたり１５．７４画素となる。したがって、車の横幅は、３１．４７画素と修正でき、人の高さは、２６．７５画素と修正でき、対象物３２と対象物３３とは、同一の距離として推定される。
【００９５】
このようなグループ化処理は、例えば、実施形態１の対象物検出部１３００が行うこととする。
【００９６】
実施形態１では、図２２に示すフローチャートのステップＳ１１において、対象物検出部１３００は、撮像画像内の対象物、すなわち、人、車、自転車、自動２輪等を抽出し、抽出した対象物の数と、対象物それぞれの種類と、種類の向き（方向）に応じた画素サイズとを検出して、距離推定部１２００に渡していた。実施形態２では、対象物検出部１３００は、対象物を抽出すると、対象物をグループ化して、グループ毎に画素サイズを補正する。
【００９７】
図２３は、グループ化処理のフローチャートを示す。この処理は、実施形態１の図２２のフローチャートにおけるステップＳ１１の処理として行われる。
【００９８】
対象物検出部１３００は、撮像画像から対象物を抽出し（ステップＳ３０）、各対象物の接地点を求める（ステップＳ３１）。そして、対象物検出部１３００は、接地点が所定範囲、例えば３画素内にある対象物をグループ化する（ステップＳ３２）。
【００９９】
次に、対象物検出部１３００は、グループを構成する対象物の種類が同じである場合には（ステップＳ３３：「人／車」（同一種類））、各対象物の画素サイズの平均を算出し、対象物の画素サイズとする（ステップＳ３４）。
【０１００】
一方、グループを構成する対象物の種類が異なる場合には（ステップＳ３３：「人＆車」）、対象物検出部１３００は、各対象物の１ｍ当たりの画素数を算出し（ステップＳ３５）、画素数の平均を求める（ステップＳ３６）。そして、対象物検出部１３００は、各対象物の画素サイズを算出する（ステップＳ３７）。
【０１０１】
対象物検出部１３００は、各グループに対して、ステップＳ３３からの処理を行い（ステップＳ３８：Ｎｏ）、すべてのグループを構成する対象物の画素サイズを求める（ステップＳ３８：Ｙｅｓ）。
【０１０２】
＜実施形態３＞
実施形態３では、撮像画像から抽出された対象物のうち、距離を算出することが不可能な対象物、言いかえれば、距離を算出しない対象物を選別する方法を説明する。
【０１０３】
図２６に示すように、接地点位置（画素）とサイズの画素数との関係が、対象物の画素サイズとして現実的でない組み合わせのものが、距離算出不能と判定される。この判定は、図２６に示すように２つある。
【０１０４】
１つ目は、遠くにある巨大な対象物５０を距離算出不能な対象物であるとする判定であり、２つ目は、近くにある極めて小さい対象物５１を距離算出不能な対象物であるとする判定である。具体的には、それぞれ閾値を設けて、接地点位置が閾値Ｐｔｈ１以下であり、対象物の画素サイズが閾値Ｓｔｈ１以上である場合に、距離算出不能が判定される。例えば、このような距離算出不能な対象物は、図２６に示す対象物５０である。また、接地点位置が閾値Ｐｔｈ２以上であり、対象物の画素サイズが閾値Ｓｔｈ２以下である場合に、距離算出不能が判定される。例えば、このような距離算出不能な対象物は、図２６に示す対象物５１である。
【０１０５】
接地点法によって或る距離における撮像画像内の位置を求めることができ、その距離に対象物が在る場合の画素サイズを対象物の基準サイズから求めることができる。これらから、閾値が設定される。例えば、所定の距離における撮像画像内の位置が閾値Ｐｔｈ１とされ、所定距離にいる人（基準サイズ１．７ｍ）の画素サイズがＳｔｈ１とされるなどである。
【０１０６】
この判定は、例えば、実施形態１では対象物検出部１３００が行う。
【０１０７】
＜実施形態４＞
実施形態４では、図２８の撮像画像６０に現れている歪曲収差を補正する方法を説明する。図２７には、実施形態４の画像処理システム構成が示されている。実施形態１の図１と異なる点は、撮像部２０００に歪曲収差補正部２４００が追加され、また、画像処理部１０００に歪曲収差補正情報記憶部１７００が追加されている点である。ただし、歪曲収差補正部２４００と歪曲収差補正情報記憶部１７００とは、以下に説明する２つの方法それぞれにおいて、いずれか一方が設けられるものとする。
【０１０８】
１つの方法は、図２７に示すように、撮像部２０００に歪曲収差補正部２４００を設け、撮像部２０００から画像処理部１０００に歪曲収差補正を行った撮像画像６１（図２８参照）を出力する方法である。つまり、セットアップの際には、歪曲収差補正を行った撮像画像を基にパラメータ算出が実行され、測距の際にも、歪曲収差補正を行った撮像画像を基に、距離推定が実行される。歪曲収差補正部２４００は、例えば、レンズ設計データから算出される歪み量を元に、歪曲収差を補正する。
【０１０９】
２つ目の方法は、画像処理部１０００において、測距の際に、歪曲収差補正を行う代わりに、歪曲収差による画像への影響を記載したＬＵＴ（ルックアップテーブル）を予め用意しておき、対象物の座標値（検出サイズや接地点画素位置）を補正して、距離推定を行う方法である。この場合、セットアップ処理においてパラメータを求める際には、撮像部２０００の歪曲収差補正部２４００によって歪曲収差補正を行った撮像画像が用いられ、測距処理において、歪曲収差補正を行わない撮像画像が用いられる。
【０１１０】
歪曲収差補正情報記憶部１７００は、上述のＬＵＴを記憶しておくものであり、図２９に、ＬＴＵの例を示す。
【０１１１】
図２９Ａは、撮像画像の座標系を示す図であり、左上が（０、０）である。また、撮像画像の画素サイズは、Ｘ方向が６４０画素、Ｙ方向が４８０画素である。図２９Ｂは、第１補正テーブル（サイズ法）１７１０の構成および内容の例を示し、図２９Ｃは、第２補正テーブル（接地点法）１７２０の構成および内容の例を示す。
【０１１２】
第１補正テーブル（サイズ法）１７１０は、サイズ法を行う場合の補正テーブルであり、撮像画像の座標位置に対する画素サイズの拡大率（倍率）が設定されている。第１補正テーブル（サイズ法）１７１０は、Ｘ座標１７１１、Ｙ座標１７１２、Ｘ方向拡大率１７１３、および、Ｙ方向拡大率１７１４を備える。歪曲収差は、縦横で伸び縮み量（拡大率）が異なるため、縦横（Ｘ軸方向、Ｙ軸方向）それぞれを個別に、テーブルに設定しておく。Ｘ座標１７１１、および、Ｙ座標１７１２は、それぞれ撮像画像の座標位置のＸ座標、Ｙ座標を示す。Ｘ方向拡大率１７１３、および、Ｙ方向拡大率１７１４は、それぞれ、Ｘ座標１７１１、および、Ｙ座標１７１２で示される座標位置に対する、Ｘ軸方向の拡大率、Ｙ軸方向の拡大率を示す。Ｘ方向拡大率１７１３は、対象物の種類が「車」である場合に用いられ、Ｙ方向拡大率１７１４は、対象物の種類が「人」、「自転車」等である場合に用いられる。
【０１１３】
第１補正テーブル（サイズ法）１７１０のレコード７０は、撮像画像の左上の座標（０、０）の拡大率を示すレコードであり、レコード７１は、撮像画像の中心の座標（３２０、２４０）の拡大率を示すレコードである。例えば、「人」の対象物の画素サイズが１００画素であり、その中央の画素（５０画素目）が撮像画像の座標位置（３２０、２４０）にあるとする。その場合、その対象物の画素サイズは、１００×１．２１＝１２１画素として、距離が算出される。
【０１１４】
第２補正テーブル（接地点法）１７２０は、接地点法を行う場合の補正テーブルであり、撮像画像の座標位置に対する接地点座標位置（補正後のＹ座標）が設定されている。第２補正テーブル（接地点法）１７２０は、Ｘ座標１７２１、Ｙ座標１７２２、および、補正後Ｙ座標１７２３を備える。Ｘ座標１７２１、および、Ｙ座標１７２２は、それぞれ撮像画像の座標位置のＸ座標、Ｙ座標を示す。補正後Ｙ座標１７２３は、Ｘ座標１７２１、および、Ｙ座標１７２２で示される座標位置に対する、補正後のＹ座標を示す。
【０１１５】
第２補正テーブル（接地点法）１７２０のレコード７２は、撮像画像の左上の座標（０、０）の拡大率を示すレコードであり、レコード７３は、撮像画像の中心の座標（３２０、２４０）の拡大率を示すレコードである。例えば、「人」の対象物の接地点の座標が（０、０）である場合、Ｙ座標が−３０．５として、距離が算出される。
【０１１６】
図２９Ｂおよび図２９Ｃに示す第１補正テーブル（サイズ法）１７１０および第２補正テーブル（接地点法）１７２０を用いる場合の、測距処理のフローチャートが図３０に示されている。図３０のフローチャートは、実施形態１の図２２のフローチャートに、上述した補正処理を追加したものである。距離推定部１２００は、ステップＳ４０において、第１補正テーブル（サイズ法）１７１０を用いた対象物の画素サイズの補正を行い、ステップＳ４１において、第２補正テーブル（接地点法）１７２０を用いた対象物の接地点位置の補正を行う。
【０１１７】
上述の図２９では、画像座標位置に対するサイズ拡大率や接地点座標位置を示すＬＵＴを用いる例が示されたが、図３１のように、補正テーブルとして、距離算出後の距離データ自体が補正されてもよい。この場合は、セットアップ処理、および、測距処理において、歪曲収差補正を行わない撮像画像が用いられる。
【０１１８】
図３１Ａは、撮像画像の座標系を示す図であり、左上が（０、０）である。また、撮像画像の画素サイズは、Ｘ方向が６４０画素、Ｙ方向が４８０画素である。図３１Ｂは、第１補正テーブル（サイズ法）１７３０の構成および内容の例を示し、図３１Ｃは、第２補正テーブル（接地点法）１７４０の構成および内容の例を示す。
【０１１９】
第１補正テーブル（サイズ法）１７３０は、サイズ法を行う場合の補正テーブルであり、算出した距離の補正係数が設定されている。第１補正テーブル（サイズ法）１７３０は、Ｘ座標１７３１、Ｙ座標１７３２、Ｘ方向距離補正係数１７３３、および、Ｙ方向距離補正係数１７３４を備える。Ｘ座標１７３１、および、Ｙ座標１７３２は、それぞれ撮像画像の座標位置のＸ座標、Ｙ座標を示す。Ｘ方向距離補正係数１７３３は、Ｘ方向の距離、すなわち、対象物の種類が「車」である場合に用いられる係数を示す。Ｙ方向距離補正係数１７３４は、Ｘ方向の距離、すなわち、対象物の種類が対象物の種類が「人」、「自転車」等である場合に用いられる係数を示す。
【０１２０】
第１補正テーブル（サイズ法）１７３０のレコード８０は、Ｘ方向距離補正係数１７３３、および、Ｙ方向距離補正係数１７３４として「‐」が設定されている。これは、撮像画像の上方は、空の画像であることから、距離は、算出不能であることを示す。レコード８１は、撮像画像の中心の座標（３２０、２４０）の補正係数を示すレコードである。例えば、距離が１０ｍと算出された「人」の対象物が撮像画像の座標位置（３２０、２４０）にあるとする。その場合、その対象物までの距離は、１０×１．２１＝１２．１ｍとする。
【０１２１】
第２補正テーブル（接地点法）１７４０は、接地点法を行う場合の補正テーブルであり、撮像画像の座標位置に対する補正係数が設定されている。第２補正テーブル（接地点法）１７４０は、Ｘ座標１７４１、Ｙ座標１７４２、および、距離補正係数１７４３を備える。Ｘ座標１７４１、および、Ｙ座標１７４２は、それぞれ撮像画像の座標位置のＸ座標、Ｙ座標を示す。距離補正係数１７４３は、Ｘ座標１７２１、および、Ｙ座標１７２２で示される座標位置に対する、距離の補正係数を示す。
【０１２２】
第２補正テーブル（接地点法）１７４０のレコード８２は、距離補正係数１７４３として「‐」が設定されている。これは、撮像画像の上方は、空の画像であることから、距離は算出不能であることを示す。レコード８３は、撮像画像の中心の座標（３２０、２４０）の補正係数を示すレコードである。例えば、距離が１０ｍと算出された「人」の対象物の接地点の座標が（３２０、３２０）であるとする。その場合、その対象物までの距離は、１０×１．１２＝１１．２ｍとする。
【０１２３】
図３１Ｂ、Ｃの第１補正テーブル（サイズ法）１７３０および第２補正テーブル（接地点法）１７４０を用いる場合の、測距処理のフローチャートが図３２に示されている。図３２のフローチャートは、実施形態１の図２２のフローチャートに、上述した補正処理を追加したものである。距離推定部１２００は、ステップＳ１５において第１距離算出部１４００が求めた距離を、ステップＳ４２において、第１補正テーブル（サイズ法）１７３０を用いて補正する。距離推定部１２００は、ステップＳ１７において第２距離算出部１５００が求めた距離を、ステップＳ４３において、第２補正テーブル（接地点法）１７４０を用いて補正する。
【０１２４】
図２９ないし図３２で説明したように、撮像画像自体に対して歪曲収差補正を行わずに、距離を算出する際に必要最小限の値だけを補正することで、回路規模削減や、ソフトウェアでの処理の高速化が可能となる。また、性能の比較的低いＣＰＵを用いることが可能となり、低価格化を実現することが可能となる。
【０１２５】
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
【０１２６】
一態様にかかる画像処理方法は、撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理方法であって、前記撮像画像における前記対象物の種類を検出する対象物検出ステップと、前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記対象物検出ステップで検出された種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出する第１距離算出ステップとを備える。
【０１２７】
他の一態様にかかる画像処理装置は、撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理装置であって、前記対象物の種類ごとに、基準長を記憶している記憶部と、前記撮像画像における前記対象物の種類を検出する対象物検出部と、前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記記憶部に記憶されている当該対象物の基準長とに基づいて、前記対象物までの距離を算出する距離算出部とを備える。
【０１２８】
他の一態様にかかる画像処理プログラムは、撮像された撮像画像内の対象物までの、撮像位置からの距離を計測する画像処理装置で用いられる画像処理プログラムであって、前記対象物の種類ごとに、基準長を記憶している記憶手段と、前記撮像画像における前記対象物の種類を検出する対象物検出手段と、前記撮像位置から所定の距離離れた位置に配置した予め既定された長さのチャートを撮影して求められた所定の定数と、前記撮像画像における前記対象物の長さと、前記記憶手段に記憶されている当該対象物の基準長とに基づいて、前記対象物までの距離を算出する距離算出手段と、してコンピュータを機能させる。
【０１２９】
このような画像処理方法、画像処理装置および画像処理プログラムによれば、対象物の種類ごとに予め基準長（現実の長さ）を定めておいて、撮像画像における対象物の長さ（画素数）を用いて撮像画像内の対象物までの距離を算出するので、撮像された撮像画像内の対象物までの距離を精度よく算出することが可能となる。つまり、例えば撮像画像を撮像する際にカメラ等の撮像装置が上下にぶれて、撮像画像内の対象物の位置が上下にずれた場合であっても、対象物の撮像画像内での画素数は、変わらないので、算出した距離は、変わらないからである。なお、対象物の長さは、画素数で表されても、撮像画像の画素数に占める割合で表されてもよく、それに基づいて距離を算出できるものであればよい。
【０１３０】
他の一態様では、上述の画像処理方法において、前記対象物の長さは、前記対象物の種類に応じた方向における前記撮像画像における長さであり、前記基準長は、前記対象物の種類に応じた方向の長さであることが好ましい。
【０１３１】
これによれば、対象物の種類ごとに、測距に用いる長さの方向が異なるので、対象物の動き等による変化の少ない方向の長さを用いることで、より精度よく距離を算出することが可能となる。
【０１３２】
他の一態様では、上述の画像処理方法において、前記対象物の種類が、人、自転車、および、自動二輪のうちのいずれかである場合は、前記対象物の種類に応じた方向は、縦方向（それらが立っている場合の上下方向）であることが好ましい。
【０１３３】
これによれば、対象物が人、自転車、自動二輪の場合は、変化が少ない縦方向の長さを用いるので、より精度よく距離を算出することが可能となる。
【０１３４】
他の一態様では、これら上述の画像処理方法において、前記対象物の種類が、車である場合は、前記対象物の種類に応じた方向は、横方向（幅方向、前後方向に対し直交する方向）であるあることが好ましい。
【０１３５】
これによれば、対象物が車の場合は、変化が少ない横方向の長さ、すなわち、車幅を用いるので、より精度よく距離を算出することが可能となる。
【０１３６】
他の一態様では、これら上述の画像処理方法において、前記撮像画像における撮像範囲と前記対象物の接地点とに基づいて、前記対象物までの距離を算出する第２距離算出ステップと、前記第１距離算出ステップおよび前記第２距離算出ステップのいずれか一方で算出した前記対象物までの暫定距離が閾値（距離閾値）を下回る場合、前記第１距離算出ステップによって算出した第１距離と前記第２距離算出ステップによって算出した第２距離とを用いて、前記対象物までの距離を算出し、前記暫定距離が前記閾値以上の場合、前記第１距離算出ステップによって算出した第１距離を前記対象物までの距離とする距離推定ステップとを、さらに備えることが好ましい。
【０１３７】
これによれば、対象物までの距離が閾値を下回る、つまり、対象物が近い場合は、対象物の長さ（画素数）を用いて算出した距離と共に、対象物の接地点を用いて算出した距離も併用して対象物までの距離を算出するので、より精度よく距離を算出することが可能となる。対象物が近距離に在る場合は、撮像画像内の対象物の位置の上下のずれが少ない為、対象物の接地点を用いて算出した場合の距離は、精度が高いことが多いからである。
【０１３８】
他の一態様では、上述の画像処理方法において、前記距離推定ステップは、前記第１距離と前記第２距離とを用いて、前記対象物までの距離を算出する場合に、前記暫定距離が短い程、前記第１距離よりも前記第２距離により重い重み付けを行い、前記対象物までの距離を算出することが好ましい。
【０１３９】
これによれば、対象物までの距離が短い程、対象物の接地点を用いて算出した距離の重み付けを重くするので、より精度よく距離を算出することが可能となる。対象物が近距離に在る程、撮像画像内の対象物の位置の上下のずれが少なく、算出する距離の精度が高いからである。
【０１４０】
他の一態様では、これら上述の画像処理方法において、前記閾値は、前記対象物の種類に応じて異なることが好ましい。
【０１４１】
これによれば、対象物に応じた距離（閾値）で、対象物の接地点を用いて算出した距離を併用するか否かを判断するので、より精度よく距離を算出することが可能となる。
【０１４２】
他の一態様では、これら上述の画像処理方法において、前記対象物は、複数であり、前記第１距離算出ステップは、前記撮像画像における縦方向の所定範囲に接地点が在る対象物が同一種類である場合には、各対象物の前記撮像画像における長さを平均した長さと、前記対象物の種類に応じて予め定められている基準長とに基づいて、前記対象物までの距離を算出することが好ましい。
【０１４３】
これによれば、同一種類の対象物が、ほぼ同じ位置に在る場合は、それらの対象物の長さ（画素数）の平均値を用いて距離を算出するので、それら対象物について、誤差が小さい距離を算出することが可能となる。
【０１４４】
他の一態様では、これら上述の画像処理方法において、前記第１距離算出ステップは、前記撮像画像における縦方向の所定範囲に接地点が在る対象物が異なる種類である場合には、各対象物の前記撮像画像における長さを前記種類に応じて予め定められている対象物の基準長で正規化して平均した値を用いて、各対象物の前記長さを修正し、修正した後の長さと、前記種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出することが好ましい。
【０１４５】
これによれば、異なる種類の対象物が、ほぼ同じ位置に在る場合は、それらの対象物の長さ（画素数）を正規化した上で平均した値を用いて距離を算出するので、それら対象物について、誤差が小さい距離を算出することが可能となる。
【０１４６】
他の一態様では、これら上述の画像処理方法において、前記対象物の接地点が、前記撮像画像の上下方向の第１位置より上にあり、且つ、前記撮像画像における前記対象物の長さが、第１閾値（第１長さ閾値）より大きい場合、または、前記対象物の接地点が、前記第１位置より下にある第２位置より下にあり、且つ、前記対象物の長さが、第１閾値より小さい第２閾値（第２長さ閾値）より小さい場合は、前記対象物までの距離を計測しないことが好ましい。
【０１４７】
これによれば、撮像画像内の対象物のうち、現実に存在し得ない対象物を判断できるので、測距の対象から外すことが可能となる。
【０１４８】
他の一態様では、これら上述の画像処理方法において、前記撮像画像は、光学系を有する撮像部により撮像され、前記光学系による歪曲収差が補正された撮像画像であることが好ましい。
【０１４９】
これによれば、歪曲収差補正後の撮像画像内の対象物までの距離を算出するので、より精度よく距離を算出することが可能となる。
【０１５０】
他の一態様では、これら上述の画像処理方法において、前記撮像画像は、光学系を有する撮像部により撮像された撮像画像であり、前記第１距離算出ステップは、前記撮像画像における前記対象物の長さを、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、補正後の長さと前記基準長とに基づいて、前記対象物までの距離を算出することが好ましい。
【０１５１】
これによれば、歪曲収差のある撮像画像内の対象物の長さ（画素数）を、補正情報を用いて補正し、補正後の長さ（画素数）を用いて距離を算出するので、より簡便に、歪曲収差を補正した撮像画像を用いた場合と同等の精度で、距離を算出することが可能となる。
【０１５２】
他の一態様では、上述の画像処理方法において、前記第２距離算出ステップは、前記撮像画像における前記対象物の接地点を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、前記撮像画像における撮像範囲と補正後の接地点とに基づいて、前記対象物までの距離を算出することが好ましい。
【０１５３】
これによれば、歪曲収差のある撮像画像内の接地点（座標値）を、補正情報を用いて補正し、補正後の座標値を用いて距離を算出するので、より簡便に、歪曲収差を補正した撮像画像を用いた場合と同等の精度で、距離を算出することが可能となる。
【０１５４】
他の一態様では、これら上述の画像処理方法において、前記撮像画像は、光学系を有する撮像部により撮像された撮像画像であり、前記第１距離算出ステップは、前記撮像画像における前記対象物の長さと、前記対象物検出ステップで検出された種類に応じて予め定められている対象物の基準長とに基づいて、前記対象物までの距離を算出し、算出した距離を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と補正座標とを対応付けた補正情報に基づいて補正し、補正後の距離を前記対象物までの距離とすることが好ましい。
【０１５５】
他の一態様では、上述の画像処理方法において、前記第２距離算出ステップは、前記撮像画像における撮像範囲と前記対象物の接地点とに基づいて、前記対象物までの距離を算出し、算出した距離を、前記撮像画像の前記光学系による歪曲収差を補正するための、前記撮像画像内の位置と倍率とを対応付けた補正情報に基づいて補正し、補正後の距離を前記対象物までの距離とすることが好ましい。
【０１５６】
これによれば、歪曲収差のある撮像画像を用いて算出した距離を、補正情報を用いて補正するので、より簡便に、歪曲収差を補正した撮像画像を用いた場合と同等の精度で、距離を算出することが可能となる。
【０１５７】
他の一態様にかかる撮像装置は、対象物を含む被写体を撮像する撮像部と、上述の画像処理装置とを備える。
【０１５８】
これによれば、撮像部で撮像した撮像画像内の対象物までの距離を、より精度よく算出することが可能となる。
【０１５９】
この出願は、２０１３年４月１６日に出願された日本国特許出願特願２０１３−８５９０５を基礎とするものであり、その内容は、本願に含まれるものである。
【０１６０】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【産業上の利用可能性】
【０１６１】
本発明によれば、画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供できる。
【図１】
2014171052.tif 000003
【図２】
2014171052.tif 000004
【図３】
2014171052.tif 000005
【図４】
2014171052.tif 000006
【図５】
2014171052.tif 000007
【図６】
2014171052.tif 000008
【図７】
2014171052.tif 000009
【図８】
2014171052.tif 000010
【図９】
2014171052.tif 000011
【図１０】
2014171052.tif 000012
【図１１】
2014171052.tif 000013
【図１２】
2014171052.tif 000014
【図１３】
2014171052.tif 000015
【図１４】
2014171052.tif 000016
【図１５】
2014171052.tif 000017
【図１６】
2014171052.tif 000018
【図１７】
2014171052.tif 000019
【図１８】
2014171052.tif 000020
【図１９】
2014171052.tif 000021
【図２０】
2014171052.tif 000022
【図２１】
2014171052.tif 000023
【図２２】
2014171052.tif 000024
【図２３】
2014171052.tif 000025
【図２４】
2014171052.tif 000026
【図２５】
2014171052.tif 000027
【図２６】
2014171052.tif 000028
【図２７】
2014171052.tif 000029
【図２８】
2014171052.tif 000030
【図２９】
2014171052.tif 000031
【図３０】
2014171052.tif 000032
【図３１】
2014171052.tif 000033
【図３２】
2014171052.tif 000034
【図３３】
2014171052.tif 000035
【国際調査報告】
2014171052.tif 000036
2014171052.tif 000037
2014171052.tif 000038