(57)【要約】【課題】複数の撮像画像に基づいて撮像画像中の対象物の位置を検出する位置検出装置において、より高精度に対象物の位置を検出できるようにする。【解決手段】距離検出装置においては、予め設定された周期を表す基準周期で撮像された複数の撮像画像からなる第１撮像画像群、および基準周期かつ非同期時間だけタイミングをずらして撮像された第２撮像画像群、を構成する各撮像画像中における対象物の座標を表す画像座標群をそれぞれ取得する（Ｓ１５０）。そして、各撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第１軌跡および第２軌跡、をそれぞれフーリエ変換することで、第１軌跡に基づく第１周波数波形、および第２軌跡に基づく第２周波数波形を演算し、各周波数波形が非同期時間に応じた位相分だけずれた関係であることに基づいて対象物の位置を演算する（Ｓ１９０）。【選択図】図４
2014020845.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画像に基づいて撮像画像中の対象物の位置を検出する位置検出装置（１）であって、
予め設定された周期を表す基準周期で撮像された複数の撮像画像からなる第１撮像画像群、および前記第１撮像画像群の撮像タイミングに対して非同期時間だけタイミングをずらし、かつ前記基準周期で撮像された第２撮像画像群、を構成する各撮像画像中における対象物の座標を表す画像座標群をそれぞれ取得する画像座標群取得手段（Ｓ１５０）と、
前記第１撮像画像群と前記第２撮像画像群とが前記非同期時間だけずれた関係であることに基づいて、前記各画像座標群から前記対象物の位置を演算する位置演算手段（Ｓ１９０）と、
を備えたことを特徴とする位置検出装置。
【請求項２】
請求項１に記載の位置検出装置において、
前記第１撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第１軌跡、および前記第２撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第２軌跡、をそれぞれフーリエ変換することで、前記第１軌跡に基づく第１周波数波形、および前記第２軌跡に基づく第２周波数波形を演算する周波数波形演算手段（Ｓ１９０）、を備え、
前記位置演算手段は、前記第１周波数波形と前記第２周波数波形とが前記非同期時間に応じた位相分だけずれた関係であることに基づいて、前記対象物の位置を演算すること
を特徴とする位置検出装置。
【請求項３】
請求項１または請求項２に記載の位置検出装置において、
前記対象物の位置に基づいて前記対象物までの距離を演算する距離演算手段（Ｓ２００）、を備えたこと
を特徴とする位置検出装置。
【請求項４】
請求項１〜請求項３に記載の何れか１項に記載の位置検出装置において、
前記画像座標群取得手段は、平行配置された複数の射影カメラから取得された各撮像画像群に基づく画像座標群を取得すること
を特徴とする位置検出装置。
【請求項５】
請求項１〜請求項４の何れか１項に記載の位置検出装置において、
前記位置演算手段は、実空間における前記対象物の位置と該位置の軌跡をフーリエ変換して得られる周波数成分との関係に基づいて前記周波数成分を求め、該周波数成分に基づいて前記対象物の位置を演算すること
を特徴とする位置検出装置。
【請求項６】
コンピュータを、請求項１〜請求項５の何れか１項に記載の位置検出装置を構成する各手段として機能させるための位置検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像画像に基づいて撮像画像中の対象物の位置を検出する位置検出装置、および位置検出プログラムに関する。
【背景技術】
【０００２】
上記の位置検出装置として、同期した複数のカメラを用いて対象物の位置を検出する、いわゆるステレオカメラとしての構成が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０４７２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の位置検出装置では、同期したカメラの撮像周期よりも分解能を向上させることができないという問題点があった。
そこで、このような問題点を鑑み、複数の撮像画像に基づいて撮像画像中の対象物の位置を検出する位置検出装置において、より高精度に対象物の位置を検出できるようにすることを本発明の目的とする。
【課題を解決するための手段】
【０００５】
かかる目的を達成するために成された請求項１に記載の位置検出装置において、画像座標群取得手段は、予め設定された周期を表す基準周期で撮像された複数の撮像画像からなる第１撮像画像群、および第１撮像画像群の撮像タイミングに対して非同期時間だけタイミングをずらし、かつ基準周期で撮像された第２撮像画像群、を構成する各撮像画像中における対象物の座標を表す画像座標群をそれぞれ取得する。
【０００６】
また、位置演算手段は、第１撮像画像群と第２撮像画像群とが非同期時間だけずれた関係であることに基づいて、各画像座標群から対象物の位置を演算する。
また、請求項２に記載の位置検出装置において、周波数波形演算手段は、第１撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第１軌跡、および第２撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第２軌跡、をそれぞれフーリエ変換することで、第１軌跡に基づく第１周波数波形、および第２軌跡に基づく第２周波数波形を演算する。そして、位置演算手段は、第１周波数波形と第２周波数波形とが非同期時間に応じた位相分だけずれた関係であることに基づいて、対象物の位置を演算する。
【０００７】
すなわち、本発明の位置検出装置では、第１撮像画像群と第２撮像画像群とが非同期時間だけずれた関係であるために、対象物の位置の周波数特性に関する独立な情報を持っていることに着目して、この独立性を利用して対象物の位置を演算する。特に、請求項２に係る発明では、非同期時間だけタイミングをずらして撮像された各撮像画像群中の画像座標群の軌跡をフーリエ変換することで得られる各波形が、非同期時間に応じた位相分だけずれた関係であることに基づき対象物の位置を演算する。
【０００８】
したがって、このような位置検出装置によれば、各撮像画像が得られた時刻における対象物の位置を検出できるので、同期した撮像画像群に基づいて対象物の位置を検出する構成と比較して、より高精度に対象物の位置を検出することができる。
【０００９】
なお、本発明の位置検出装置においては、第１撮像画像群および第２撮像画像群に基づく画像座標群を取得するよう構成したが、第１撮像画像群および第２撮像画像群を取得する撮像画像群取得手段（Ｓ１１０）や、これらの各撮像画像群から画像座標群をそれぞれ抽出する画像座標群抽出手段（Ｓ１４０）を備えていてもよい。
【００１０】
また、本発明の位置検出装置は、第３撮像画像群や第４撮像画像群等に基づく画像座標群を利用してもよい。つまり、第１撮像画像群および第２撮像画像群に基づく画像座標群を取得する構成は必要最低限の構成であり、複数の撮像画像群に基づく画像座標群を取得できれば、本発明を実現することができる。
【００１１】
また、本発明において位置演算手段は、例えば、以下の手順で対象物の位置を検出すればよい。まず、各軌跡（第１軌跡および第２軌跡）をフーリエ変換し、周波数空間において周波数波形を特定する。そして、この周波数波形を逆フーリエ変換することで前記第１軌跡および前記第２軌跡を表す関数をそれぞれ求め、さらに、これらの関数に対象物の位置を求めたい時刻を代入することによって、前記対象物の位置を求める。
【００１２】
なお、請求項３に係る発明において平行配置とは、射影カメラの撮像中心軸の方向が互いに平行または略平行になっていることを示す。
また、上記目的を達成するためには、上記位置検出装置の構成をプログラムとして実現してもよい。
【図面の簡単な説明】
【００１３】
【図１】一般のステレオ法を示す鳥瞰図（ａ）、および本発明の非同期ステレオ法を示す鳥瞰図（ｂ）である。
【図２】本発明の原理を示す説明図である。
【図３】本発明が適用された距離検出装置１の概略構成を示すブロック図である。
【図４】演算部１０が実行する距離検出処理を示すフローチャートである。
【図５】実験例において取得した画像モデルを時系列に並べた説明図である。
【図６】実験例においてフレーム番号と奥行き（距離）との関係を示すグラフである。
【発明を実施するための形態】
【００１４】
以下に本発明にかかる実施の形態を図面と共に説明する。
［本発明の概要］
カメラ画像に基づく３次元復元法としてとしては様々な方法が提案されているが、図１（ａ）に示すように、複数のカメラの視差情報に基づくステレオ法が最も広く用いられている有用な方法である。通常、ステレオ法を用いてカメラ画像から３次元点を復元するためには、これらのカメラでは３次元空間中の同じ点を投影する必要がある。
【００１５】
このため、時間的に変化する動的なシーンを復元する場合には、複数のカメラ間において同期を取り、撮像タイミングを一致させる必要がある。撮像タイミングが一致した同期カメラの場合には、図１（ａ）に示すように、複数のカメラにおいて同じ３次元点を観測することができるため、得られた画像上の点には対応関係が存在し、３次元点を復元することができる。
【００１６】
しかし、複数のカメラ間で撮像タイミングが一致している必要があるので、通常のステレオ復元においては、カメラのサンプリングレート以上の高周波成分は復元することができない。もしもカメラのサンプリング周波数の１／２以上の高周波成分を含む３次元運動をカメラで観測した場合には、３次元復元結果にエイリアシングの問題が発生し、復元精度が低下する。
【００１７】
そこで本発明（第１実施形態）では、図１（ｂ）に示すように複数のカメラ間において撮像するタイミングをわざとずらすことにより、撮像タイミングの一致した通常のステレオ法では復元できない高い周波数成分まで正確に３次元復元する手法を提案する。提案法（本発明）では、同期しない（撮像タイミングのずれた）カメラの台数を３台、４台と増やすにつれて、より高い周波数成分までを３次元復元することが可能となる。本明細書では、以降、撮像タイミングが一致したカメラを同期カメラと呼び、撮像タイミングが一致していない場合を非同期カメラと呼ぶことにする。
【００１８】
図１（ｂ）に示すように、撮像周期をわざとずらしたステレオカメラでは、従来のステレオカメラでは得られないより密度の高い情報を得ることができるが、これらのカメラはそれぞれ３次元空間中の異なる点を撮像しているため、得られた画像上の点には対応関係が存在しない。このため通常のステレオ復元法を用いて３次元復元することはできない。
【００１９】
しかし、本発明では、複数カメラにおける撮像タイミングのずれが既知の条件下で周波数空間を介して３次元復元を行うことにより、各カメラのサンプリング周波数を上回る高周波な３次元運動を正確に復元する方法を提案する。
【００２０】
このため本発明では、まず、図２（ａ）に示すように、実空間の３次元点（得られた画像上の点）の軌跡をフーリエ変換し、図２（ｂ）に示すように、周波数空間において３次元点の投影を考える。
【００２１】
周波数空間の情報に変換することで、実空間においては周期ずれのため異なる点を投影しているカメラが、周波数空間においては同一の３次元点を投影する投影モデルとして表現することが可能となる。このように周波数空間では同一の３次元点を投影していることになるため非同期カメラの画像間に対応関係が生まれ、３次元点を復元することが可能となる。
【００２２】
次に、第２実施形態では、この周波数空間における投影モデルをさらに拡張することで、カメラのサンプリング周波数の制約を受けずに高周波な３次元運動を非同期カメラにより復元する方法を示す。この結果、本発明ではＫ台のカメラから通常の２／３Ｋ倍の高周波成分までが復元可能であることを示す。
【００２３】
例えば、２台の非同期カメラで３次元復元した場合には、通常のステレオカメラのサンプリング周波数を４／３倍にアップして高密度にサンプリングして３次元復元した場合と同じ復元結果が得られる。この効果はカメラの台数を増やすと飛躍的に向上し、３台の非同期カメラを用いた場合には、カメラのサンプリング周波数を２倍にアップして３次元復元した効果が得られ。６台の非同期カメラを用いると４倍の高密度サンプリングによる３次元復元が実現できる。
【００２４】
［第１実施形態］
［本実施形態の構成］
以下に本実施形態の具体的構成について説明する。
【００２５】
上記のように非同期カメラを用いて３次元点を復元する機能を有する距離検出装置１は、例えば乗用車等の車両に搭載されており、図３に示すように、演算部１０と、複数（本実施形態では２つ）の撮像部２１，２２と、走行状態検出部２３と、を備えている。
【００２６】
演算部１０は、ＣＰＵ１１や、ＲＯＭ、ＲＡＭ等のメモリ１２を備えた周知のコンピュータ（演算装置）として構成されており、ＣＰＵ１１はメモリ１２に格納されたプログラム（位置検出プログラムを含む）等に基づく処理を行う。
【００２７】
撮像部２１、２２は、周知のアフィンカメラとして構成されており、それぞれの撮像部は、異なる位置にて撮像領域の大部分が重複するように配置されている。また、撮像部２１、２２は、カメラの中心軸の向きが対外に平行となる平行配置とされている。なお、本実施形態の場合のように、撮像部２１、２２がアフィンカメラである場合には、平行配置である必要はなく、撮像部２１、２２は任意の配置を取り得る。
【００２８】
さらに、撮像部２１、２２は、同一の周期である基準周期ごと（例えば３０ｆｐｓ）に撮像を行うが、撮像タイミングは予め設定された非同期時間だけずらして設定されている。撮像部２１、２２は、撮像した画像を演算部１０に送る。
【００２９】
走行状態検出部２３は、車速センサや舵角センサ等の、車両の走行状態を検出するセンサの組み合わせとして構成されている。走行状態検出部２３は、検出した各センサ値を演算部１０に送る。
【００３０】
［本実施形態の処理］
上記のように構成された距離検出装置１において演算部１０は、以下に示す距離検出処理を実施する。距離検出処理は、例えば、距離検出装置１の電源が投入されると開始され、その後、所定の周期で繰り返し実行される処理である。
【００３１】
距離検出処理では、まず、図４に示すように、撮像部２１または２２による最新の撮像画像を取得し、この画像をメモリ１２に記録する（Ｓ１１０）。そして、この画像の画像特徴量を算出する（Ｓ１２０）。ここで、画像特徴量とは、輝度勾配・輝度強度を取り出すＨＯＧ(Histgram of Gradient)等が該当する。
【００３２】
続いて、画像特徴量に基づいて物体を認識し、対象物を認識する（Ｓ１３０）。この処理では、画像特徴量に基づいて、一般的に知られている機械学習やサポートベクターマシン等の機能を用いて検出すべき対象物を画像内より検出する。
【００３３】
そして、対象物の位置をメモリ１２に仮に登録する（Ｓ１４０）。具体的には、現在の対象物の画像上の座標領域、識別番号を登録する。ここでの対象物は、例えば車両であり、対象物の位置としては、対象物の任意の座標（例えばテールライトの位置）である。なお、対象物の位置は、例えば、対象物の中心の座標でもよいし、対象物の撮像部２１、２２に最も近い座標（画像中心に最も近い座標）でもよい。
【００３４】
次に、対象物の位置履歴をメモリ１２から取得し（Ｓ１５０）、車両情報を取得する（Ｓ１６０）。ここで、対象物の位置履歴とは、Ｓ１４０の処理が実施される度にメモリ１２に蓄積された、多数の対象物の過去の位置を示す。また、車両情報とは、自車両の走行状態を表す車速や舵角等の情報を示す。
【００３５】
続いて、今回検出された対象物が、最新の対象物の位置、最新のものを除く対象物の位置履歴、および車両情報（車両の軌跡や対象物との相対速度等）を勘案して、同一のものであるか否かを判定する（Ｓ１７０）。この処理では、過去の対象物の位置を対象物の識別番号等を考慮して追跡し、最新の対象物の位置が過去において検出された対象物の位置からかけ離れているかどうかを判定する。
【００３６】
そして、一致する対象物をメモリ１２に正式に記録するとともに、一致しない対象物については自車両が一定距離走行したとき、または一定時間経過後にメモリ１２から削除する（Ｓ１８０）。続いて、後述する対象物位置算出処理を実施する（Ｓ１９０）。
【００３７】
対象物位置算出処理にて対象物の座標（撮像部２１、２２との相対的な位置）が特定されると、対象物の座標から撮像部２１、２２との相対的な距離（対象物距離）を算出し（Ｓ２００）、距離検出処理を終了する。
【００３８】
ここで、対象物位置算出処理（Ｓ１９０）では、以下の処理を実施することで対象物の座標（実空間座標）を求める。なお、Ｓ１９０の処理の説明では、撮像部２１を第１カメラとし、撮像部２２を第２カメラとして説明する。
【００３９】
この処理では、まず、カメラ投影モデルを周波数空間に置き直して考える。第１カメラのカメラ行列をＰ（カメラ毎に既知）とし、時刻tにおける３次元空間中の点
【００４０】
【数１】
2014020845.tif 000003
【００４１】
が画像上の点
【００４２】
【数２】
2014020845.tif 000004
【００４３】
に投影されたとすると、この投影式は以下のように表すことができる。
【００４４】
【数３】
2014020845.tif 000005
【００４５】
次に、第２カメラのカメラ行列をＰ′（カメラ毎に既知）とし、時刻t とは異なる時刻t′における３次元空間中の点
【００４６】
【数４】
2014020845.tif 000006
【００４７】
が画像上の点
【００４８】
【数５】
2014020845.tif 000007
【００４９】
に投影されたとすると、この投影式は以下のように表すことができる。
【００５０】
【数６】
2014020845.tif 000008
【００５１】
ここで、第１カメラと第２カメラのサンプリングのずれをｋとすると、ｔとｔ′との関係は以下のように表すことができる。
【００５２】
【数７】
2014020845.tif 000009
【００５３】
式（３）を式（２）に代入すると以下のように書き改めることができる。
【００５４】
【数８】
2014020845.tif 000010
【００５５】
次に、それぞれのカメラにおいて３次元点がＮ時刻（Ｎ回）サンプリングされたものとして式（１）と式（４）の両辺をそれぞれ離散フーリエ変換する。
斉次の項を離散フーリエ変換すると、ｎ＝０のとき１を、ｎ≠０のとき０をとるδ（ｎ）となるので、周波数空間における３次元点を
【００５６】
【数９】
2014020845.tif 000011
【００５７】
とし、画像上の点を
【００５８】
【数１０】
2014020845.tif 000012
【００５９】
とすると、第１カメラにおける投影式の離散フーリエ変換は次のようになる。
【００６０】
【数１１】
2014020845.tif 000013
【００６１】
また、第２カメラにおける投影式の離散フーリエ変換は次のようになる。
【００６２】
【数１２】
2014020845.tif 000014
【００６３】
式（６）は次のように書き改められる。
【００６４】
【数１３】
2014020845.tif 000015
【００６５】
ここで、サンプリング開始時刻のずれｋは既知であるため、ej2πnk/Nは各サンプリング時刻ｎにおいて定数とみなせる。ここで、
【００６６】
【数１４】
2014020845.tif 000016
【００６７】
とおくと式（７）は次のように書き改めることができる。
【００６８】
【数１５】
2014020845.tif 000017
【００６９】
式（５）、式（８）より通常空間におけるサンプリング時刻のずれは周波数空間において位相ずれとみなされ、λ（ｎ）とおくことにより通常空間におけるカメラ投影の奥行きとみなすことができる。このように、通常空間における投影式に対してフーリエ変換を行うことにより周波数空間における投影式を得ることができる。
【００７０】
ここで重要なことは、通常空間において２台のカメラは異なる３次元点Ｘ（t）とＸ（t′）を投影していたが、周波数空間における投影式を考えることにより、２台のカメラが同じ３次元点Ｚ（ｎ）を投影していることである。
【００７１】
すなわち、周波数空間においては同じ点を投影していることになるため、得られた画像上の点Ｚ（ｎ）、Ｚ′（ｎ）には対応関係が存在し、３次元点Ｚ（ｎ）を復元することができる。したがって、後述するように、同期のとれていないカメラで３次元点が復元可能となる。
【００７２】
次に周波数空間における３次元復元について説明する。前述したように、周波数空間において２台の非同期カメラへの投影式は以下のように表せた。
【００７３】
【数１６】
2014020845.tif 000018
【００７４】
このとき、周波数空間では２台のカメラにサンプリング時刻ｎにおいて、同じ３次元点Ｚ（ｎ）が投影されているので、得られた画像上の点Ｚ（ｎ）と点Ｚ′（ｎ）には対応関係が存在する。すなわち、通常空間においては対応が得られず復元することができなかったが、周波数空間においては復元可能となることが分かる。
【００７５】
そこで、次にこの復元方法について説明する。前述した通り、本発明において２台のカメラの同期はわざとずらしているためサンプリングのずれλ（ｎ）は既知であり、カメラ行列Ｐ、Ｐ′についても求まっているものとする。
【００７６】
以下ではこのような条件下で周波数空間における３次元復元について詳しく述べる。式（９）および式（１０）を整理すると以下のようになる。
【００７７】
【数１７】
2014020845.tif 000019
【００７８】
ここで、サンプリングのずれλ（ｎ）は既知であるので式（１１）の左辺は既知である。また、カメラ行列Ｐ、Ｐ′は既知なので式（１１）より、３つの未知変数Ｘf（ｎ）、Ｙf（ｎ）、Ｚf（ｎ）に対して４つの拘束を得ることができる。すなわち式（１１）を解くことによりＸf（ｎ）、Ｙf（ｎ）、Ｚf（ｎ）を求めることができる。
【００７９】
ここで、式（１１）を次のように置き換える。
【００８０】
【数１８】
2014020845.tif 000020
【００８１】
すると、求めたい３次元点Ｚ（ｎ）はＭの逆行列Ｍ-1を用いて最小二乗解として次のように求められる。
【００８２】
【数１９】
2014020845.tif 000021
【００８３】
そして、求められたＺ（ｎ）に対し、以下のように逆フーリエ変換を行うことにより、通常空間における３次元点Ｘ（t）が求まる。ここで、
【００８４】
【数２０】
2014020845.tif 000022
【００８５】
は逆フーリエ変換を表す。
【００８６】
【数２１】
2014020845.tif 000023
【００８７】
また、第２カメラにおいて投影された３次元点Ｘ（t′）は、フーリエ変換により周波数空間において以下のように表せる。
【００８８】
【数２２】
2014020845.tif 000024
【００８９】
つまり、第２カメラで投影された３次元点を復元するには、先に復元されたＺ（ｎ）に、
【００９０】
【数２３】
2014020845.tif 000025
【００９１】
をかけてから以下のように逆フーリエ変換を行うことにより、通常空間における３次元点Ｘ（t′）が求まる。
【００９２】
【数２４】
2014020845.tif 000026
【００９３】
以上のようにして同期のとれていないカメラで投影された３次元点をそれぞれ復元することができる。通常の方法では時刻t における３次元点Ｘ（t）しか復元できないが、非同期カメラを用いることで時刻t′においても３次元点Ｘ（t′）が復元できるため、より高密度に復元できる。
【００９４】
なお、アフィンカメラの場合には、周波数空間に変換して復元することにより、非同期のステレオカメラから２倍の密度で３次元復元を行うことができるが、これに対して射影カメラの場合には投影が非線形であるため、画像データを離散フーリエ変換したものは、離散フーリエ変換した３次元データをカメラ行列によって投影したものとは異なる。
【００９５】
ところが、ある条件を満たす場合には、射影カメラにおける投影は疑似的にアフィンカメラにおける投影に置き換えて考えることができ、この結果、周波数空間を介して非同期カメラから復元することが可能となる。したがって以下では、このような性質を用いることにより、非同期の射影カメラの画像から３次元復元する方法について述べる。
【００９６】
同期の取れた２台の射影カメラおいて３次元点Ｘが投影されたとすると、この投影は次式のように表せる。
【００９７】
【数２５】
2014020845.tif 000027
【００９８】
ここで、λおよびλ′はそれぞれのカメラにおける射影奥行きであり、これらは２台のカメラにおいて一般に異なる。また、これら２台の射影カメラが、互いの光軸が平行でかつ２つのカメラの光学中心を結ぶ直線が画像面と平行となるように配置されているとする。以降では、このようなカメラ配置を平行ステレオと呼ぶことにする。
【００９９】
このような平行ステレオの場合、それぞれのカメラからみた３次元点Ｘの奥行き（Ｚ座標）は互いに等しくなる。すなわち、第１カメラにおける射影奥行きλと第２カメラにおける射影奥行きλ′の間には次式の関係が成り立つ。
【０１００】
【数２６】
2014020845.tif 000028
【０１０１】
これは、平行ステレオにおいては、式（１７）と式（１８）においてＰの第３行目とＰ′の第３行目が等しくなることからもわかる。この性質により、式（１７）および式（１８）は、次式のように書き直すことができる。
【０１０２】
【数２７】
2014020845.tif 000029
【０１０３】
ここで、
【０１０４】
【数２８】
2014020845.tif 000030
【０１０５】
（以下、「ＹＹ」とも表記する。）は次式に示す通り３次元座標
【０１０６】
【数２９】
2014020845.tif 000031
【０１０７】
（以下、「ＸＸ」とも表記する。）を射影奥行きλで除したものである。
【０１０８】
【数３０】
2014020845.tif 000032
【０１０９】
式（２０）および式（２１）より、平行ステレオにおいては、カメラ行列Ｐ、Ｐ′は射影カメラ行列でありながら、その投影はアフィンカメラと同様に線形投影モデルによって表せることがわかる。また、式（２２）より、ＹＹを求めることができれば、ＹＹの第４行の要素でＹＹを除することによってＸＸが求まることがわかる。
【０１１０】
すなわち、平行ステレオにおいては、式（２０）および式（２１）の線形投影モデルを用いてＹＹを推定し、求めたＹＹからＸＸを計算することによって、アフィンカメラと全く同様に線形投影モデルのもとで３次元復元を行うことができる。そこで、本実施形態ではＸＸの代わりにＹＹを求めることを考える。
【０１１１】
２台の非同期の射影カメラがあるとすると、これらのカメラへの投影は以下のように表すことができる。
【０１１２】
【数３１】
2014020845.tif 000033
【０１１３】
ここで、t とt′とは異なる時刻であることに注意する。これらの投影式の両辺を離散フーリエ変換することによってアフィンカメラの場合と同様に次式が得られる。
【０１１４】
【数３２】
2014020845.tif 000034
【０１１５】
ここで、
【０１１６】
【数３３】
2014020845.tif 000035
【０１１７】
（以下、「ＺＹ」とも表記する。）は、
【０１１８】
【数３４】
2014020845.tif 000036
【０１１９】
（以下、「Ｙｔ」とも表記する。またｔをｔ′にしたものを「Ｙt′」とも表記する。）を離散フーリエ変換したものである。これらの式より、上記と全く同様に、ＺＹを復元することができる。そして、復元されたＺＹを逆離散フーリエ変換することにより、Ｙtが求まる。
【０１２０】
また、ＺＹにλ（ｎ）-1を掛けたのち逆離散フーリエ変換することにより、Ｙt′も求まる。このようにして求めた
【０１２１】
【数３５】
2014020845.tif 000037
【０１２２】
において、その第４要素でそれぞれを除すれば、
【０１２３】
【数３６】
2014020845.tif 000038
【０１２４】
を復元することができる。以上より、平行ステレオの配置であれば、射影カメラであっても非同期のカメラから高密度な３次元復元を実現することができる。
［本実施形態による効果］
以上のように詳述した距離検出装置１において、演算部１０（ＣＰＵ１１）は、予め設定された周期を表す基準周期で撮像された複数の撮像画像からなる第１撮像画像群、および前記第１撮像画像群の撮像タイミングに対して非同期時間だけタイミングをずらし、かつ前記基準周期で撮像された第２撮像画像群、を構成する各撮像画像中における対象物の座標を表す画像座標群をそれぞれ取得する。
【０１２５】
また、演算部１０は、第１撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第１軌跡、および第２撮像画像群から得られた画像座標群の時系列に沿った遷移を示す第２軌跡、をそれぞれフーリエ変換することで、第１軌跡に基づく第１周波数波形、および第２軌跡に基づく第２周波数波形を演算する。そして、演算部１０は、第１周波数波形と第２周波数波形とが非同期時間に応じた位相分だけずれた関係であることに基づいて、対象物の位置を演算する。
【０１２６】
すなわち、上記の距離検出装置１では、非同期時間だけタイミングをずらして撮像された各撮像画像群中の画像座標群の軌跡をフーリエ変換することで得られる各波形が、非同期時間に応じた位相分だけずれた関係であることに基づき対象物の位置を演算する。したがって、このような距離検出装置１によれば、各撮像画像が得られた時刻における対象物の位置を検出できるので、同期した撮像画像群に基づいて対象物の位置を検出する構成と比較して、より高精度に対象物の位置を検出することができる。
【０１２７】
また、距離検出装置１においては、対象物の位置に基づいて対象物までの距離を演算する。このような距離検出装置１によれば、対象物までの距離についても演算することができるので、対象物までの距離に応じた別の制御を実施することができる。
【０１２８】
さらに、上記距離検出装置１においては、平行配置された複数のカメラから各撮像画像群を取得する。
このような距離検出装置１によれば、射影カメラを用いる場合（アフィンカメラを用いない場合）であっても、良好に対象物の位置を検出することができる。
【０１２９】
［実験例］
発明者らは上記効果を確認するために実験を行った。本実験では、静止した車両へ近づいていくシーンにおいて３次元復元を行った。
【０１３０】
本実験例では、対象とする３次元運動の周波数成分が低い場合において、復元する周波数の上限を下げることで、従来のステレオよりも高精度に３次元復元が行えることを実画像実験により示す。
【０１３１】
具体的には、図５に示すように、数十メートル先の車両に対して近づいていく状況下において基線長10ｃｍ以下のステレオカメラでこの車両までの距離を復元するという非常に悪条件のステレオ復元における提案法の復元精度を評価した。
【０１３２】
図５に示す時系列画像において、車両の左右のライトをトラッキングしその座標データを得た。トラッキングにはｍ×ｍの相関トラッカーを用いた。車両のライトの画像中での大きさは距離に応じて大きく変化することから、トラッカーのサイズｍはライトの大きさに応じて変化せ、テンプレートを逐次更新することにより、ライトの大きさが変わっても適切にトラッキングされるようにした。
【０１３３】
また、トラッキングを安定化させるため、各時刻において５時刻の移動平均を取ったものを座標値とした。そして、従来法と提案法とで同じフレームレートのカメラをそれぞれ同期および非同期で撮影した場合を模擬するため、従来法においては６０時刻の画像中の奇数時刻の３０フレームのみを用い、提案法においては第１カメラから得られる画像には奇数時刻の３０フレームを、第２カメラから得られる画像には偶数時刻の３０フレームを用いた。
【０１３４】
このようにして、従来法では３０フレーム分の同期カメラの特徴点データを、また提案法では３０フレーム分の非同期カメラの特徴点データをそれぞれ作成して用いた。また提案法では、離散フーリエ変換は周期関数を想定しているため、得られた直線状のデータを折り返して疑似的に周期関数とし、復元した点の前半部を復元結果とした。
【０１３５】
復元に用いる特徴点データは２台のカメラ間でちょうど半周期サンプリングがずれていることから、サンプリングのずれｋを、ｋ＝０．５として復元を行った。
本実験で用いた３次元点の距離は数ｍから数十ｍの範囲内に存在するが、図６の線Ａに示すように、従来法においては復元結果が奥行き方向に大きく散乱し、正しい復元が行えていない。これは基線長10ｃｍ以下のステレオカメラという非常に厳しい条件下において復元していることから当然の結果と言える。これに対して提案法では、図６の線Ｂに示すように、数ｍから数十ｍの範囲内で概ね等間隔に３次元点が復元されていることから良好に復元が行えていることがわかる。なお、図６において、線Ｃは真値（正しい奥行き）を示す。
【０１３６】
このように、提案法では非常に悪条件のステレオカメラにおいても安定した復元が行えることがわかる。
［第２実施形態］
次に、別形態の距離検出装置について説明する。本実施形態（第２実施形態）では、第１実施形態の距離検出装置１と異なる箇所のみを詳述し、第１実施形態の距離検出装置１と同様の箇所については、同一の符号を付して説明を省略する。
【０１３７】
上記実施形態では、Ｓ１９０の処理において、非同期カメラから得られた画像をもとに３次元復元を行う方法を示したが、本実施形態では、これまで述べた方法をさらに拡張することで、カメラのサンプリング周波数を超える高密度復元（高周波成分の復元）を実現する。
【０１３８】
詳細には、カメラ画像は一般にＸ、Ｙの２次元情報を持つことから、Ｋ台のカメラによりＭ時刻（それぞれＭ撮像周期分）の画像を得た場合、これをフーリエ変換して得られる周波数領域における要素数は２ＫＭとなり、この内で独立な周波数要素はＫＭ個である。一方、投影元である３次元運動がＮ時刻分ある場合、これを表現するために必要な周波数領域における要素数は３Ｎ であり、この内で独立な周波数要素は３／２Ｎ個である。
【０１３９】
したがって、Ｋ台のカメラによりＭ時刻の画像を得た場合、以下の条件を満たすようなＮ個の周波数要素が３次元空間において復元できることがわかる。
【０１４０】
【数３７】
2014020845.tif 000039
【０１４１】
したがって、３次元空間において復元可能な周波数成分の数Ｎは次式に示す通りである。
【０１４２】
【数３８】
2014020845.tif 000040
【０１４３】
例えば、２台のカメラにより３時刻（３撮像周期分）観測した画像からは、４時刻観測した場合と同じ高周波成分を含む３次元情報が復元可能である。しかし、通常のステレオカメラでは２台のカメラによって同じ３次元点を観測しているため、画像から得られる情報には従属性があり、このような復元は行えない。これに対して非同期カメラではそれぞれのカメラが異なる３次元点を観測しているため独立な情報が得られ、式（２８）に従って高周波３次元信号の復元が可能となる。
【０１４４】
次に、高密度復元の具体的な方法について述べる。空間中の３次元点の運動Ｘ（t）が０次からＮ？１次までの周波数成分
【０１４５】
【数３９】
2014020845.tif 000041
【０１４６】
より成るとすると、この３次元点の周波数空間における表現Ｚ（ｎ）とこれを投影したときの実空間における２次元画像
【０１４７】
【数４０】
2014020845.tif 000042
【０１４８】
との関係は次式のように表せる。
【０１４９】
【数４１】
2014020845.tif 000043
【０１５０】
ここで、αはスカラ変数であり投影時の射影奥行きを表す。今、Ｋ台の非同期カメラ
【０１５１】
【数４２】
2014020845.tif 000044
【０１５２】
でこの３次元点を観測したとすると、それぞれのカメラへの投影は以下のように表せる。
【０１５３】
【数４３】
2014020845.tif 000045
【０１５４】
ここで、ｋ iは１番目のカメラに対するｉ番目のカメラのサンプリング遅れを表す。すなわち、ｋ1＝０である。これらＫ台のカメラの投影式を展開して整理すると次式に示すように３次元運動点の周波数成分
【０１５５】
【数４４】
2014020845.tif 000046
【０１５６】
に関する線形方程式が得られる。
【０１５７】
【数４５】
2014020845.tif 000047
【０１５８】
ここで、Ｍは以下に示す（２ＫＭ）×（３Ｎ +１）行列である。
【０１５９】
【数４６】
2014020845.tif 000048
【０１６０】
Ｚ4はＺ（ｎ）の第４行であり、Ｌiは次式に示すように、
【０１６１】
【数４７】
2014020845.tif 000049
【０１６２】
よりなるＭ×Ｎ行列である。
【０１６３】
【数４８】
2014020845.tif 000050
【０１６４】
また、Ｔｘｉ、Ｔｙｉは、次式のように第ｉカメラの画像におけるＭ時刻分のＸ、Ｙ座標より成るベクトルである。
【０１６５】
【数４９】
2014020845.tif 000051
【０１６６】
式（３１）は、３次元運動の周波数成分が非同期カメラから得られた画像によって線形表現できることを表している。したがって、式（２８）の不等式が成り立つ場合には、Ｍ?Ｍの最小固有値に対応する固有ベクトルとして３次元運動点のＮ個の周波数成分ｆがＭ 時刻の非同期画像から復元できる。
【０１６７】
以上述べた通り、複数のカメラ間の同期をわざとずらして撮像し復元することにより、従来のステレオ復元では不可能であった高い周波数の３次元運動を復元することができる。
【０１６８】
このような第２実施形態の距離検出装置においては、実空間における対象物の位置と該位置の軌跡をフーリエ変換して得られる周波数成分との関係に基づいて周波数成分を求め、該周波数成分に基づいて対象物の位置を演算する。
【０１６９】
このような距離検出装置によれば、より多くの周波数成分を求めることができるので、対象物の位置をより高精度に求めることができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【０１７０】
例えば、上記実施形態において述べた方法は、さらに任意の配置の射影ステレオカメラに拡張することができる。詳細には、任意の位置姿勢で配置された２台の射影カメラがあるとする。このとき、平面上での座標が既知であるような４点を描いた平板を用意し、２台のカメラの光学中心を結ぶ直線とこの平板とが平行になるように平板をカメラの前に配置して平板上の４点を撮像する。
【０１７１】
この４点の平板上での座標とカメラ画像における座標とから平面射影変換を計算し、この平面射影変換によってカメラ画像全体を変換することによってカメラを仮想的に平面と平行な配置にすることができる。２台のカメラでそれぞれこのような画像変換を行うことによって、変換された２つの画像は平行ステレオの配置で撮像された画像となる。
【０１７２】
このようにして仮想的に平行ステレオへの変換を行ったのち、先に述べた方法によって復元することで、一般の配置の射影ステレオカメラにおいても非同期化することで高密度復元を実現することができる。
【０１７３】
また、以上述べた方法はそのままＮ台のマルチカメラに拡張することができる。ただし、射影カメラの場合には、これらＮ台のカメラの光学中心が同一直線上に存在することが必要である。光学中心が同一直線上に有りさえすれば、先に述べた方法により仮想的に平行化することで、全てのカメラが平行化された平行マルチカメラの状態にすることができる。その上で周波数領域を用いて復元することで、Ｎ台のカメラにより通常のＮ倍の高密度復元を行うことができる。
【０１７４】
また、上記実施形態では、複数のカメラ（撮像部）を用いたが、円運動や往復運動等の周期運動をする１台のカメラで複数の撮像画像群を得るようにしてもよい。さらに、上記実施形態では距離検出装置１を車両に搭載する例について記述したが、車両に限らず任意の場所に配置することができる。
【０１７５】
［実施形態の構成と本発明の手段との関係］
本実施形態における距離検出装置１は本発明の位置検出装置に相当する。また、演算部１０が実行する処理のうち、Ｓ１５０の処理は本発明の画像座標群取得手段に相当し、Ｓ１９０の処理は本発明の周波数波形演算手段および位置演算手段に相当する。
【０１７６】
さらに、Ｓ２００の処理は距離演算手段に相当する。
【符号の説明】
【０１７７】
１…距離検出装置、１０…演算部、１１…ＣＰＵ、１２…メモリ、２１…撮像部、２２…撮像部、２３…走行状態検出部。
【図３】
2014020845.tif 000052
【図４】
2014020845.tif 000053
【図６】
2014020845.tif 000054
【図１】
2014020845.tif 000055
【図２】
2014020845.tif 000056
【図５】
2014020845.tif 000057