(57)【要約】  【課題】  二つの撮像装置の撮像周期の同期ずれを算出して撮像画像を処理することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法を提供する。  【解決手段】  画像処理装置３は、ビデオカメラ１で撮像時点がｔ、ｔ＋Δ（Δは撮像周期）において撮像した第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、ビデオカメラ２で撮像時点ｔ＋δ（δは同期ずれ）において撮像した第２撮像画像で同一撮像対象に対応する第３特徴点を抽出し、第３特徴点に対応する対応点を特定し、第１特徴点、第２特徴点、対応点、及び撮像周期に基づいて、前記第１撮像画像及び第２撮像画像の同期ずれを算出する。【選択図】      図１
2006226965.tif 000002
【特許請求の範囲】
【請求項１】
二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、
第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、
該抽出手段は、
異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、
前記第１撮像画像で前記第３特徴点に対応する対応点を特定する特定手段と、
前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、
算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と
を備え、
前記特定手段は、
算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記同期ずれ算出手段は、
複数の取得周期に亘って前記同期ずれを複数回算出し、
算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記同期ずれ算出手段は、
複数の撮像対象毎に前記同期ずれを複数回算出し、
算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、
角度に応じた重み付け値を記憶する記憶手段と
を備え、
前記同期ずれ算出手段は、
算出された同期ずれに前記重み付け値を乗じるようにしてあることを特徴とする請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記抽出手段は、
異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第４特徴点及び第５特徴点を抽出し、
前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、
前記第１撮像画像での前記第４特徴点及び第５特徴点の座標、前記取得周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出するようにしてあり、
前記第１撮像画像での前記対応点の座標及び前記第２撮像画像での前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出する三次元位置算出手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、
第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、
該抽出手段は、
異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、
前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と
を備え、
算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出するようにしてあることを特徴とする画像処理装置。
【請求項８】
前記抽出手段は、
異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出し、
抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定する判定手段を備えることを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、
コンピュータを、
異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、
前記第１撮像画像で前記第３特徴点に対応する対応点を特定する特定手段と、
前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、
算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１０】
コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、
コンピュータを、
異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、
前記第１特徴点、第２特徴点、及び前記第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、
算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出する三次元位置算出手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１１】
第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理する画像処理方法において、
異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、
前記第１撮像画像で前記第３特徴点に対応する対応点を特定し、
前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出し、
算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することを特徴とする画像処理方法。
【請求項１２】
二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理方法において、
第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
第２の撮像装置で撮像して得られた第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、
前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、
前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、
算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの撮像装置で撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像の取得周期の同期ずれを算出して撮像画像を処理する画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法に関する。
【背景技術】
【０００２】
ステレオカメラ、二つの専用ビデオカメラ、又は二つの携帯電話カメラなどで撮像した撮像画像に基づいて、車両、人、動物などの撮像対象の三次元位置を算出して、車両、人、動物などの動きを認識又は監視するシステム（例えば、交通管制システム、防犯監視システムなど）が実用化されている。
【０００３】
これらのシステムでは、２つのビデオカメラの撮像時点を同期させて撮像し、撮像して得られた撮像画像夫々において、撮像対象に対応する特徴点を抽出し、抽出した特徴点の座標に基づいて、撮像対象の三次元位置を算出する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムにあっては、２つのビデオカメラで撮像して得られた撮像画像を同期させて取得するためには、同期回路が必要となり、画像処理装置のコストが高くなる。また、撮像画像の取得周期が当初同期している場合であっても、経年変化などにより同期がずれる場合もあった。さらに、取得周期の同期がなされていない２つのビデオカメラを用いて、撮像対象の三次元位置を算出することはできなかった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１撮像画像で前記第３特徴点に対応する対応点を特定し、前記第１特徴点、第２特徴点、対応点、及び異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することにより、撮像画像の取得周期の同期が取れていない場合に、同期ずれを算出することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法を提供することを目的とする。
【０００６】
また、本発明の他の目的は、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記第３特徴点に対応する対応点を特定することにより、同期ずれを算出することができる画像処理装置を提供することを目的とする。
【０００７】
また、本発明の他の目的は、複数の取得周期に亘って算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる画像処理装置を提供することにある。
【０００８】
また、本発明の他の目的は、複数の撮像対象毎に算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる画像処理装置を提供することにある。
【０００９】
また、本発明の他の目的は、算出された平面と直線との間の角度を算出し、算出した角度に応じた重み付け値を同期ずれに乗じることにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる画像処理装置を提供することにある。
【００１０】
また、本発明の他の目的は、異なる撮像時点の第１撮像画像で撮像対象に対応する第４特徴点及び第５特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、前記第４特徴点及び第５特徴点の座標、前記第１撮像画像の撮像周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出し、該対応点の座標及び前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる画像処理装置を提供することにある。
【００１１】
また、本発明の他の目的は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記撮像対象の三次元位置を算出することにより、夫々の撮像装置で撮像された撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法を提供することにある。
【００１２】
また、本発明の他の目的は、異なる撮像時点の第１撮像画像で撮像対象に対応する特徴点を抽出し、抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定することにより、確実に同期ずれを算出することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１３】
第１発明に係る画像処理装置は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、該抽出手段は、異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、  前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、前記第１撮像画像で前記第３特徴点に対応する対応点を特定する特定手段と、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段とを備えることを特徴とする。
【００１４】
第２発明に係る画像処理装置は、第１発明において、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段とを備え、前記特定手段は、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定することを特徴とする。
【００１５】
第３発明に係る画像処理装置は、第１発明又は第２発明において、前記同期ずれ算出手段は、複数の取得周期に亘って前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする。
【００１６】
第４発明に係る画像処理装置は、第１発明又は第２発明において、前記同期ずれ算出手段は、複数の撮像対象毎に前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする。
【００１７】
第５発明に係る画像処理装置は、第３発明又は第４発明において、前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、角度に応じた重み付け値を記憶する記憶手段とを備え、前記同期ずれ算出手段は、算出された同期ずれに前記重み付け値を乗じるようにしてあることを特徴とする。
【００１８】
第６発明に係る画像処理装置は、第１発明乃至第５発明のいずれかにおいて、前記抽出手段は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第４特徴点及び第５特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、前記第１撮像画像での前記第４特徴点及び第５特徴点の座標、前記取得周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出するようにしてあり、前記第１撮像画像での前記対応点の座標及び前記第２撮像画像での前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出する三次元位置算出手段を備えることを特徴とする。
【００１９】
第７発明に係る画像処理装置は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、該抽出手段は、異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段とを備え、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出するようにしてあることを特徴とする。
【００２０】
第８発明に係る画像処理装置は、第１発明乃至第７発明のいずれかにおいて、前記抽出手段は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出し、抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定する判定手段を備えることを特徴とする。
【００２１】
第９発明に係るコンピュータプログラムは、コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、コンピュータを、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、前記第１撮像画像で前記第３特徴点に対応する対応点を特定する特定手段と、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段として機能させることを特徴とする。
【００２２】
第１０発明に係るコンピュータプログラムは、コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、コンピュータを、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、前記第１特徴点、第２特徴点、及び前記第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出する三次元位置算出手段として機能させることを特徴とする。
【００２３】
第１１発明に係る画像処理方法は、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理する画像処理方法において、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１撮像画像で前記第３特徴点に対応する対応点を特定し、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出し、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することを特徴とする。
【００２４】
第１２発明に係る画像処理方法は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理方法において、第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出することを特徴とする。
【００２５】
第１発明、第９発明及び第１１発明にあっては、移動する撮像対象を第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像（例えば、取得周期をΔとすると、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像（例えば、第１撮像画像との取得周期の同期ずれをδとすると、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第３特徴点を抽出する。特徴点は、撮像画像の画素が有する輝度、色相、彩度のうちの少なくとも１つ以上に基づいてエッジを抽出することに抽出する。第１撮像画像で前記第３特徴点に対応する対応点を特定する。特定された対応点は、時刻ｔ+δに撮像したならば得られる第１撮像画像での撮像対象に対応する特徴点となる。前記第１撮像画像での前記第１特徴点と対応点との第１距離と、前記第１撮像画像での前記第１特徴点と第２特徴点との第２距離との比は、同期ずれδと取得周期Δとの比に略等しい。前記第１距離、第２距離、前記異なる撮像時点の時間差（取得周期Δ）に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれδを算出する。
【００２６】
第２発明にあっては、抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面を算出する。抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線を算出する。前記特定手段は、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する。
【００２７】
第３発明にあっては、複数の取得周期に亘って前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出する。撮像対象の移動速度が小さい場合であっても、所定の時間に亘って同期ずれを算出する。
【００２８】
第４発明にあっては、複数の撮像対象（例えば、一つの車両における複数の注目点、又は複数の車両など）毎に前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出する。
【００２９】
第５発明にあっては、複数の取得周期に亘って又は複数の撮像対象毎に同期ずれを複数回算出する場合に、その都度算出される平面と直線との間の角度を算出する。角度の大小に応じて重み付け値を定めておき、算出された複数の同期ずれに前記角度に応じた重み付け値を乗じる。前記平面と直線との間の角度が小さいほど、同期ずれδの変動に対する第１撮像画像での対応点の位置が大きく変動するため、前記対応点に基づいて算出される同期ずれの値の誤差が大きくなる。前記角度に応じて算出された同期ずれに重み付けをすることにより、誤差の大きい値を除外し、誤差の少ない値を頻度多く用いる。
【００３０】
第６発明にあっては、異なる撮像時点の第１撮像画像（例えば、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で撮像対象に対応する第４特徴点及び第５特徴点を抽出し、  前記第２撮像画像（例えば、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第６特徴点を抽出する。抽出した第４特徴点及び第５特徴点の前記第１撮像画像での座標、該第１撮像画像の取得周期Δ、並びに算出された同期ずれδに基づいて、前記第６特徴点に対応する対応点を算出する。例えば、前記対応点は、取得周期Δから同期ずれδを減じた値に前記第４特徴点の座標を乗じた第１値と、同期ずれδに前記第５特徴点の座標を乗じた第２値とを加算した値を取得周期Δで除することにより算出する。算出された対応点の前記第１撮像画像での座標及び前記第６特徴点の前記第２撮像画像での座標に基づいて、前記撮像対象の三次元位置を算出する。
【００３１】
第７発明、第１０発明及び第１２発明にあっては、移動する撮像対象を第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像（例えば、取得周期をΔとすると、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像（例えば、第１撮像画像との取得周期の同期ずれをδとすると、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第３特徴点を抽出する。特徴点は、撮像画像の画素が有する輝度、色相、彩度のうちの少なくとも１つ以上に基づいてエッジを抽出することに抽出する。抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面を算出する。抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線を算出する。算出された平面と直線との交点は、第２の撮像装置で時刻ｔ＋δに撮像された撮像対象の位置であり、第１の撮像装置で時刻ｔ＋δに撮像された場合の前記撮像対象の位置である。すなわち、前記交点は、第１の撮像装置及び第２の撮像装置で、同時刻ｔ＋δに撮像したならば得られる撮像対象の三次元位置となる。
【００３２】
第８発明にあっては、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出する。抽出した二つの特徴点で定められる直線と、他の一つの特徴点との距離を所定の閾値と比較し、前記距離が閾値以下の場合は、前記撮像対象が略直線移動すると判定する。
【発明の効果】
【００３３】
第１発明、第９発明及び第１１発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第１撮像画像との間で同期ずれが生じている第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第３特徴点に対応する対応点を特定し、前記第１特徴点、第２特徴点、対応点、及び第１撮像画像の撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することにより、撮像画像の取得周期の同期が取れていない場合に、同期ずれを算出することができる。
【００３４】
第２発明にあっては、抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面と、抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定することにより、同期ずれを算出することができる。
【００３５】
第３発明にあっては、複数の取得周期に亘って算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、撮像対象の移動速度に拘わらず、同期ずれを精度良く算出することができる。
【００３６】
第４発明にあっては、複数の撮像対象毎に算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる。
【００３７】
第５発明にあっては、前記平面と直線との間の角度を算出し、算出した角度に応じた重み付け値を同期ずれに乗じることにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる。
【００３８】
第６発明にあっては、抽出した第４特徴点及び第５特徴点の座標、前記第１撮像画像の撮像周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出し、該対応点の座標及び前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。
【００３９】
第７発明、第１０発明及び第１２発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第１撮像画像との間で同期ずれが生じている第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。
【００４０】
第８発明にあっては、撮像対象が略直線移動するか否かを判定し、前記撮像対象が略直線移動する場合に、同期ずれを算出することにより、確実に同期ずれを算出することができる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る画像処理装置の概要を示す模式図である。図において、１及び２は車両、歩行者などの撮像対象を撮像するビデオカメラである。ビデオカメラ１、２夫々は、略同一高さであって水平方向に適長の距離を隔てて道路付近に設置されてあり、道路付近の共通する撮像対象を撮像するようにしてある。ビデオカメラ１、２には画像処理装置３を接続してある。
【００４２】
ビデオカメラ１、２夫々は撮像周期Δが略３３ｍｓ（又はその整数倍）であり、毎秒３０フレームの割合で１フレーム分の撮像画像を撮像する。ビデオカメラ１、２は、撮像して得られた画像データを画像処理装置３へ送信する。また、ビデオカメラ１、２の撮像時点は同期しておらず、ビデオカメラ１に対してビデオカメラ２は、同期ずれδ（最大で略撮像周期Δに等しい値）を有する。
【００４３】
インタフェース部３１は、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行い、ビデオカメラ１、２から入力された画像データを第１画像メモリ３２、第２画像メモリ３３にフレーム単位で夫々記憶する。画像処理装置３は、ビデオカメラ１、２各々で撮像して得られた第１撮像画像及び第２撮像画像を毎秒３０フレームの割合、すなわち、撮像周期Δに等しい取得周期Δで取得するが、第１撮像画像と第２撮像画像との取得時点は同期しておらず、同期ずれδ（最大で略取得周期Δに等しい値）を有しながら取得した第１撮像画像及び第２撮像画像を、両撮像画像の取得時点（この場合は撮像時点に等しい）とともに画像メモリ３２、３３夫々に記憶する。
【００４４】
図２は画像メモリ３２、３３に記憶された撮像画像を示す概念図である。撮像周期（取得周期）をΔ、ビデオカメラ１、２の撮像時点の同期ずれをδとすると、第１画像メモリ３２は、時刻ｔ、ｔ＋Δ、…に撮像された１フレーム分の第１撮像画像を記憶し、第２画像メモリ３３は、時刻ｔ、ｔ＋Δ、…からδだけずれた時刻ｔ＋δ、ｔ＋Δ＋δ、…に撮像された１フレーム分の第２撮像画像を記憶している。第１撮像画像、第２撮像画像における特徴点Ａt、Ａt+Δ、Ｂt+δについては後述する。
【００４５】
記録部３６は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ３６１が挿入されることにより、ＣＤ−ＲＯＭ３６１に記録されたコンピュータプログラムＰＧをＲＡＭ３４に記憶する。ＣＰＵ３８は、ＲＡＭ３４に記憶されたコンピュータプログラムＰＧを実行する。コンピュータプログラムＰＧは、ＣＰＵ３８で実行されることにより、画像処理装置３の処理を実現する。
【００４６】
具体的には、ＣＤ−ＲＯＭ３６１に記録したコンピュータプログラムＰＧがＲＡＭ３４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ３８で実行することにより、画像処理装置３は、後述する特徴点抽出処理、直線移動判定処理、平面算出処理、直線算出処理、対応点特定処理、距離算出処理、同期ずれ算出処理、角度算出処理、及び三次元位置算出処理などの処理を実現する。
【００４７】
記憶部３７は、コンピュータプログラムＰＧをＣＰＵ３８で実行することにより、算出された同期ずれ、角度算出処理で算出された角度に対応した重み付けなどを記憶している。
【００４８】
入出力部３５は、キーボード、マウス、ディスプレイなどを備え、画像処理装置３に対する入力操作、コンピュータプログラムＰＧの導入操作を行うことができるとともに、画像処理装置３で処理された処理結果の表示などを行う。
【００４９】
特徴点抽出処理は、第１画像メモリ３２に記憶された第１撮像画像の中から、撮像時点（例えば、時刻ｔ、ｔ＋Δ）における第１撮像画像を読み出し、読み出した第１撮像画像夫々の全画素に対して、３×３画素マスクによるＳｏｂｅｌフィルタでエッジを抽出し、抽出したエッジに基づくエッジ画像を生成する。特徴点抽出処理は、生成したエッジ画像を検索し、隣接する画素よりもエッジ強度が大きく、かつ、エッジ強度が所定の閾値以上であるピーク画素を抽出することにより、撮像対象Ｐの時刻ｔの位置Ｐt及び時刻ｔ＋Δの位置Ｐt+Δ夫々に対応する特徴点Ａt、Ａt+Δを抽出する。
【００５０】
特徴点抽出処理は、同様に、第２画像メモリ３３に記憶された第２撮像画像の中から、撮像時点（例えば、時刻ｔ＋δ）における１フレーム分の第２撮像画像を読み出し、読み出した第２撮像画像から同一撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δに対応する特徴点Ｂt+δを抽出する。例えば、撮像対象が車両である場合、エッジ画像に基づいて、ナンバープレートの矩形を切り出し、その四隅夫々を特徴点とすることができる。
【００５１】
直線移動判定処理は、少なくとも三つの撮像時点（例えば、時刻ｔ、ｔ＋Δ、ｔ＋２Δ）の第１撮像画像夫々で抽出された同一撮像対象に対応する特徴点（例えば、ナンバープレートの四隅のうちの１点）Ａ１１、Ａ１２、Ａ１３の第１撮像画像での座標に基づき、撮像対象が略直線移動をしているか否かを判定する。具体的には、直線移動判定処理は、特徴点Ａ１１及びＡ１３で定まる直線と、特徴点Ａ１２との距離ｒを算出し、算出した距離ｒが記憶部３７に記憶され、予め定められた閾値ＴＨｒ以下である場合には、撮像対象が略直線移動をするものと判定する。なお、直線移動判定処理は、後述する同期ずれ算出処理で同期ずれを算出する場合に、撮像対象が略直線移動をしているか否かを判定し、略直線移動している場合に、同期ずれ算出処理で同期ずれを算出するようにすることができる。また、後述する三次元位置算出処理で撮像対象の三次元位置を算出する場合に、撮像対象が略直線移動をしているか否かを判定することもできる。
【００５２】
図３は撮像対象の略直線移動を判定する例を示す概念図である。第１撮像画像において、撮像時点が異なる特徴点Ａ１１、Ａ１２、Ａ１３の第１撮像画像での座標に基づき、特徴点Ａ１１及びＡ１３で定まる直線と、特徴点Ａ１２との距離ｒを算出する。距離ｒが小さいほど、撮像対象の移動が略直線であるということができ、算出された距離ｒと予め定められた閾値ＴＨｒとを比較することにより、撮像対象の略直線移動を判定する。
【００５３】
平面算出処理は、撮像時点（例えば、時刻ｔ、ｔ＋Δ）の第１撮像画像で抽出された同一撮像対象に対応する特徴点Ａt、Ａt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する。この場合、撮像対象の時刻ｔ、ｔ＋Δの位置をＰt、Ｐt+Δとすると、Ｐt、Ｐt+Δ夫々は算出された平面上にある。
【００５４】
直線算出処理は、撮像時点（例えば、時刻ｔ＋δ）の第２撮像画像で抽出された同一撮像対象に対応する特徴点Ｂt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出する。
【００５５】
また、直線算出処理は、平面Ｓと直線Ｌ２との交点の座標と、ビデオカメラ１のレンズ中心とで定まる直線Ｌ１を算出する。
【００５６】
対応点特定処理は、カメラ座標における第１撮像画面に直線Ｌ１が交差する点の座標を算出し、算出した座標を第１撮像画像における座標に変換することにより、時刻ｔ＋δに撮像された第２撮像画像の特徴点Ｂt+δに対応する第１撮像画像における対応点Ａt+δを特定する。対応点Ａt+δは、時刻ｔ＋δにおいて撮像対象Ｐt+δをビデオカメラ１で撮像したならば得られる第１撮像画像での特徴点である。
【００５７】
図４は特徴点及び対応点の関係を示す説明図である。図において、ＯA、ＯBは、夫々ビデオカメラ１、２のレンズ中心である。第１撮像画像において、撮像対象Ｐの時刻ｔの位置Ｐt及び時刻ｔ＋Δの位置Ｐt+Δ夫々に対応する特徴点Ａt、Ａt+Δを抽出する。一方、第２撮像画像において、同一撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δに対応する特徴点Ｂt+δを抽出する。
【００５８】
撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δと、ビデオカメラ１のレンズ中心ＯAとにより定まる直線が、第１撮像画像面と交差する点は、特徴点Ｂt+δに対応する対応点Ａt+δである。撮像周期Δは比較的短い時間であるため、時刻ｔから時刻ｔ＋Δまでの撮像対象は、略直線上を移動すると考えられ、撮像対象は、位置Ｐt、Ｐt+Δで定まる直線上を移動する。このため、特徴点Ａt、Ａt+Δ、レンズ中心ＯAで定まる平面と、特徴点Ｂt+δ、レンズ中心ＯBで定まる直線との交点Ｐt+δは、撮像対象の時刻ｔ＋δでの位置となる。
【００５９】
また、撮像対象の位置Ｐt+δをビデオカメラ１で撮像した場合、直線ＡtＡt+Δ上に撮像点である対応点Ａt+δが得られる。従って、同期ずれδは、δ＝Δ×（線分Ａt+δＡtの長さ／線分Ａt+ΔＡtの長さ）で算出することができる。
【００６０】
距離算出処理は、特徴点Ａt、特徴点Ａt+Δ、対応点Ａt+δの第１撮像画像における座標に基づいて、特徴点Ａtと対応点Ａt+δとの第１距離ｄ１、特徴点Ａtと特徴点Ａt+Δとの第２距離ｄ２を算出する。
【００６１】
同期ずれ算出処理は、距離算出処理で算出された第１距離ｄ１、第２距離ｄ２、及び撮像周期Δに基づいて、同期ずれδ（δ＝Δ×（ｄ１／ｄ２））を算出し、算出した同期ずれδを記憶部３７へ記憶する。
【００６２】
ここで、同期ずれδの算出方法について具体的に説明する。ワールド座標系（例えば、道路の座標系など）を（Ｘ′、Ｙ′、Ｚ′）、第１撮像画像における座標を（ｘL、ｙL）、第２撮像画像における座標を（ｘR、ｙR）とすると、数１で表される式が成立する。
【００６３】
【数１】
2006226965.tif 000003
【００６４】
ここで、ａLX（ｔ＋δ）、ｂLX（ｔ＋δ）、ｃLX（ｔ＋δ）は、既知の値であるカメラパラメータ（焦点距離、ワールド座標系とカメラ座標系との間のピッチ角、ロール角、ヨー角）、及び撮像時刻がｔ＋δにおける対応点Ａt+δのｘL座標の関数であり、ａLY（ｔ＋δ）、ｂLY（ｔ＋δ）、ｃLY（ｔ＋δ）は、既知の値であるカメラパラメータ、及び撮像時刻がｔ＋δにおける対応点Ａt+δのｙL座標の関数である。また、ａRX（ｔ＋δ）、ｂRX（ｔ＋δ）、ｃRX（ｔ＋δ）は、カメラパラメータ、及び撮像時刻がｔ＋δにおける特徴点Ｂt+δのｘR座標により定まる既知の値であり、ａRY（ｔ＋δ）、ｂRY（ｔ＋δ）、ｃRY（ｔ＋δ）は、カメラパラメータ、及び撮像時刻がｔ＋δにおける特徴点Ｂt+δのｙR座標により定まる既知の値である。また、ΔＸ′、ΔＹ′、ΔＺ′は、ビデオカメラ２のビデオカメラ１に対する相対位置であり既知の値である。
【００６５】
また、対応点Ａt+δの座標（ｘL、ｙL）は、数２で表される式で推定される。数２の式では、撮像時刻ｔ、ｔ＋Δの特徴点の座標は既知の値であるから、対応点Ａt+δの座標（ｘL、ｙL）は、未知数である同期ずれδの関数となる。
【００６６】
【数２】
2006226965.tif 000004
【００６７】
以上から、数１の式（１）、（２）、（３）、（４）は、いずれも未知数であるδ、Ｘ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）の数式となる。
【００６８】
同期ずれ算出処理は、数１の式（１）、（２）、（３）のδにｋ×Δ／１０００（ｋ＝１、２…１０００）を代入し、Ｘ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）を算出し、算出したＸ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）を数１の式（４）に代入して、代入した値が最小値になるδを同期ずれとして算出する。なお、代入するδは、撮像周期Δの１／１０００の整数倍としたが、これに限定されるものではなく、適宜変更することができる。
【００６９】
また、同期ずれ算出処理は、複数の撮像対象（例えば、一つの車両の複数の注目点、又は複数の車両など）について複数回算出された同期ずれ値から同期ずれの平均値、最頻値、中央値などを算出し、算出した同期ずれδを記憶部３７へ記憶する。また、同期ずれ算出処理は、複数の撮像周期（例えば、１秒間、１０秒間など）の間に複数回算出された同期ずれ値から同期ずれの平均値、最頻値、中央値などを算出し、算出した同期ずれδを記憶部３７へ記憶する。
【００７０】
また、同期ずれ算出処理は、平均値、最頻値、中央値などを算出する代わりに、重み付け平均値を算出してもよい。すなわち、同期ずれを算出する都度、角度算出処理で算出された角度に対応する重み付け値を算出された同期ずれ夫々に乗じることにより重み付けをし、重み付けされた同期ずれ値の総和を、夫々の同期ずれに乗じた重み付け値の総和で割ることにより、同期ずれの重み付け平均値を算出し、算出した同期ずれδを記憶部３７へ記憶する。
【００７１】
角度算出処理は、平面算出処理で算出された平面Ｓと、直線算出処理で算出された直線Ｌ２とのなす角度（０〜９０°）を算出する。
【００７２】
図５は同期ずれの重み付けの例を示す説明図である。ビデオカメラ１、２が同じ高さで左右平行に設置されている場合、平面Ｓは、第１撮像画像及び第２撮像画像における走査線を含む水平面と一致するため、平面Ｓと直線Ｌ２とのなす角度αは、走査線を含む水平面と撮像対象の移動方向とのなす角度αで表すことができる。図に示すように、重み付け値は、角度αが０から９０°に変化するに応じて大きい値を設定してある。
【００７３】
角度αが小さい場合は（例えばα１）、同期ずれδの変動に応じて、対応点Ａ２１の位置は移動方向に対して大きく変化する。一方、角度αが大きい場合は（例えばα３）、同期ずれδの変動に応じて、対応点Ａ２３の位置変化は移動方向に対して大きくない。従って、角度αの大小に応じて、同期ずれの重み付けを行うことにより、同期ずれの誤差が大きいものを除外するとともに、誤差が小さいものの度数を増して、算出する同期ずれの精度を良くする。
【００７４】
例えば、対応点Ａ２１、Ａ２２、Ａ２３夫々に対応して算出された同期ずれをδ21、δ22、δ23とし、対応する角度α１、α２、α３が夫々０〜１５°未満、１５〜７５°未満、７５〜９０°の範囲にあるとする。角度が、０〜１５°未満、１５〜７５°未満、７５〜９０°夫々の範囲に対応する重み付け値は、０、１、２である。従って、３つの対応点Ａ２１、Ａ２２、Ａ２３夫々で算出された同期ずれδ21、δ22、δ23夫々に、０、１、２夫々を乗じて重み付けをし、重み付けされた同期ずれ値の総和を、夫々の同期ずれに乗じた重み付け値の総和で割ることにより、同期ずれの重み付け平均値を算出すると、同期ずれの重み付け平均値は、（δ22＋２δ23）／３となる。
【００７５】
三次元位置算出処理は、平面算出処理で算出された平面Ｓと直線算出処理で算出された直線Ｌ２との交点を算出し、該交点の位置を撮像対象の三次元位置として算出する。三次元位置算出処理は、算出した位置に基づいて三次元距離画像などの形式で入出力部３５へ出力する。
【００７６】
三次元位置算出処理は、特徴点抽出処理で抽出された撮像対象Ｐ′の任意の時刻ｔ及び時刻ｔ＋Δに対応する第１撮像画像における特徴点Ａ′t、特徴点Ａ′t+Δ、撮像周期Δ、同期ずれδに基づいて、撮像対象Ｐ′の撮像時刻ｔ＋δに対応する第１撮像画像における対応点Ａ′t+δを、Ａ′t+δ＝｛（Δ―δ）×Ａ′t＋δ×Ａ′t+Δ｝／Δにより算出する。三次元位置算出処理は、特徴点Ａ′t+δ、Ｂ′t+δ、から撮像対象Ｐ′の三次元位置を算出する。
【００７７】
図６はステレオ画像による位置算出の例を示す説明図である。図に示すように、カメラ座標系を（Ｘ、Ｙ、Ｚ）、ビデオカメラ１、２のレンズ中心を夫々ＯA、ＯB、ビデオカメラ１、２の離隔距離をｈ、ビデオカメラ１、２の焦点距離をｆ、第１撮像画像の座標系を（ＸL、ＹL）、第２撮像画像の座標系を（ＸR、ＹR）、特徴点Ａ′t+δの第１撮像画像における座標を（ｘL、ｙL）、特徴点Ｂ′t+δの第２撮像画像における座標を（ｘR、ｙR）とすると、三次元位置算出処理は、カメラ座標における撮像対象Ｐ′の位置（ｘ、ｙ、ｚ）を数３で表される式に基づいて算出する。
【００７８】
【数３】
2006226965.tif 000005
【００７９】
また、三次元位置算出処理は、数２で表される式に基づいて、ワールド座標系における撮像対象Ｐ′の三次元位置を算出する。
【００８０】
【数４】
2006226965.tif 000006
【００８１】
ここで、（ｘ、ｙ、ｚ）は、撮像対象Ｐ′のカメラ座標系における座標、Ｈはビデオカメラ１、２の高さ、θはピッチ角（水平から下方向を正）、（Ｘ′、Ｙ′、Ｚ′）は撮像対象のワールド座標系における座標である。なお、簡単化のため、ヨー角及びロール角は、いずれも０としている。
【００８２】
次に、本発明に係る画像処理装置の処理手順について説明する。図７及び図８は同期ずれ算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ１００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ａtを抽出する（Ｓ１０１）。画像処理装置３は、読み出した第１撮像画像の全画素を終了したか否かを判定し（Ｓ１０２）、全画素を終了した場合（Ｓ１０２でＹＥＳ）、画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ１０３）。所定数の撮像画像を読み出していない場合（Ｓ１０３でＮＯ）、画像処理装置３は、ステップＳ１００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ、ｔ＋２Δ）の第１撮像画像を読み出す。
【００８３】
全画素を終了していない場合（Ｓ１０２でＮＯ）、画像処理装置３は、ステップＳ１０１以降の処理を続け、他の撮像対象に対応する特徴点を抽出する。所定数の撮像画像を読み出した場合（Ｓ１０３でＹＥＳ）、画像処理装置３は、異なる撮像時点（例えば、時刻ｔ、ｔ＋Δ、ｔ＋２Δ）の第１撮像画像で、抽出した特徴点（例えば、Ａt、Ａt+Δ、Ａt+2Δ）が略直線上に存在するか否かを判定することにより、撮像対象が略直線移動しているか否かを判定する（Ｓ１０４）。
【００８４】
撮像対象が略直線移動している場合（Ｓ１０４でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出す（Ｓ１０５）。画像処理装置３は、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｂt+δを抽出する（Ｓ１０６）。画像処理装置３は、読み出した第２撮像画像の全画素を終了したか否かを判定し（Ｓ１０７）、全画素を終了した場合（Ｓ１０７でＹＥＳ）、画像処理装置３は、特徴点Ａt、Ａt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する（Ｓ１０８）。全画素を終了していない場合（Ｓ１０７でＮＯ）、画像処理装置３は、ステップＳ１０６以降の処理を続け、第１撮像画像で撮像した他の撮像対象と同一の撮像対象に対応する特徴点を抽出する。
【００８５】
画像処理装置３は、特徴点Ｂt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出し（Ｓ１０９）、算出された平面Ｓと直線Ｌ２とのなす角度αを算出する（Ｓ１１０）。画像処理装置３は、算出された角度αに基づいて記憶部３７にアクセスし、対応する重み付けを選択する（Ｓ１１１）。
【００８６】
画像処理装置３は、カメラ座標における第１撮像画面に直線Ｌ２が交差する点の座標を算出し、算出した座標を第１撮像画像における座標に変換することにより、時刻ｔ＋δに撮像された第２撮像画像の特徴点Ｂt+δに対応する第１撮像画像における対応点Ａt+δを特定する（Ｓ１１２）。画像処理装置３は、特徴点Ａt、特徴点Ａt+Δ、対応点Ａt+δの第１撮像画像における座標に基づいて、特徴点Ａtと対応点Ａt+δとの第１距離ｄ１、特徴点Ａtと特徴点Ａt+Δとの第２距離ｄ２を算出する（Ｓ１１３）。
【００８７】
画像処理装置３は、算出された第１距離ｄ１、第２距離ｄ２、及び撮像周期Δに基づいて、同期ずれδ（δ＝Δ×（ｄ１／ｄ２））を算出し、算出した同期ずれに選択した重み付け値を乗じ、同期ずれを算出する（Ｓ１１４）。これにより、画像処理装置３は、複数の撮像対象が撮像された場合、夫々の撮像対象毎に同期ずれを算出する。画像処理装置３は、予め定められた全周期終了したか否かを判定する（Ｓ１１５）。一方、撮像対象が略直線移動していない場合（Ｓ１０４でＮＯ）、画像処理装置３は、ステップＳ１１５以降の処理を続ける。
【００８８】
全周期終了していない場合（Ｓ１１５でＮＯ）、画像処理装置３は、ステップＳ１００以降の処理を続ける。全周期終了した場合（Ｓ１１５でＹＥＳ）、画像処理装置３は、複数回算出された同期ずれに基づいて、同期ずれの平均値を算出し（Ｓ１１６）、処理を終了する。
【００８９】
図９は算出した同期ずれに基づいた三次元位置算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ２００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ａ′tを抽出する（Ｓ２０１）。画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ２０２）。所定数の撮像画像を読み出していない場合（Ｓ２０２でＮＯ）、画像処理装置３は、ステップＳ２００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ）の第１撮像画像で、同一撮像対象に対応する特徴点（例えば、Ａ′t+Δ）を抽出する。
【００９０】
所定数の撮像画像を読み出した場合（Ｓ２０２でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出し（Ｓ２０３）、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｂt+δを抽出する（Ｓ２０４）。画像処理装置３は、記憶部３７から同期ずれ値を読み出し（Ｓ２０５）、特徴点Ａ′t、特徴点Ａ′t+Δ、撮像周期Δ、同期ずれδに基づいて、撮像対象Ｐ′の撮像時刻ｔ＋δに対応する第１撮像画像における対応点Ａ′t+δを、Ａ′t+δ＝｛（Δ―δ）×Ａ′t＋δ×Ａ′t+Δ｝／Δにより算出する（Ｓ２０６）。
【００９１】
画像処理装置３は、特徴点Ａ′t+δ、Ｂ′t+δ、から撮像対象Ｐ′の三次元位置を算出し（Ｓ２０７）、処理を終了する。
【００９２】
同期ずれを算出せずに抽出した特徴点に基づいて撮像対象の三次元位置を算出することも可能である。図１０は三次元位置算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ３００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ｃtを抽出する（Ｓ３０１）。画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ３０２）。所定数の撮像画像を読み出していない場合（Ｓ３０２でＮＯ）、画像処理装置３は、ステップＳ３００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ）の第１撮像画像で、同一撮像対象に対応する特徴点（例えば、Ｃt+Δ）を抽出する。
【００９３】
所定数の撮像画像を読み出した場合（Ｓ３０２でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出し（Ｓ３０３）、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｅt+δを抽出する（Ｓ３０４）。画像処理装置３は、特徴点Ｃt、Ｃt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する（Ｓ３０５）。
【００９４】
画像処理装置３は、特徴点Ｅt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出し（Ｓ３０６）、平面Ｓと直線Ｌ２との交点の位置を撮像対象の三次元位置として算出し（Ｓ３０７）、処理を終了する。
【００９５】
以上説明したように、本発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、同期ずれが生じている第２撮像画像で同一撮像対象に対応する第３特徴点を抽出し、抽出した第１特徴点、第２特徴点、及びビデオカメラ１のレンズ中心により定まる平面と、第３特徴点及びビデオカメラ２のレンズ中心により定まる直線との交点に基づいて、撮像対象の三次元位置を算出することにより、撮像画像の撮像周期（取得周期）の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。
【００９６】
また、第３特徴点に対応する対応点を特定し、第１特徴点、第２特徴点、対応点、及び撮像周期に基づいて、前記第１撮像画像及び第２撮像画像の同期ずれを算出することにより、撮像画像の撮像周期の同期が取れていない場合に、同期ずれを算出することができる。
【００９７】
また、複数の撮像周期に亘って算出した複数の同期ずれ、又は複数の撮像対象毎に算出した複数の同期ずれの平均値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる。
【００９８】
また、撮像対象の移動方向に応じて、算出した同期ずれに重み付けすることにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる。
【００９９】
また、抽出した特徴点の座標、撮像周期、及び算出した同期ずれに基づいて、抽出した特徴点に対応する対応点を算出し、対応点及び特徴点の座標に基づいて、撮像対象の三次元位置を算出することにより、撮像画像の撮像周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。
【０１００】
上述の実施の形態においては、第１撮像画像における特徴点を抽出する場合に、撮像時点が時刻ｔ、ｔ＋Δでの第１撮像画像を読み出す構成であったが、第１撮像画像の撮像時点は、この時点に限定されるものではない。例えば、時刻ｔ、ｔ＋２Δ、又は時刻ｔ、ｔ＋３Δなどであってもよい。また、第２撮像画像の撮像時点も時刻ｔ＋δに限定されるものではなく、時刻ｔ＋Δ＋δなどであってもよい。また、第１撮像画像、第２撮像画像の区別は便宜上であって、いずれの撮像画像を用いてもよい。
【０１０１】
同期ずれの算出は、ビデオカメラの特性、使用場所、使用条件などに応じて、適宜実施することが可能である。これにより、同期ずれが経時変化する場合であっても、同期ずれを把握しつつ、撮像対象の正確な三次元位置を算出することができる。
【０１０２】
また、本発明は、道路の交通状況を把握する画像処理システム、防犯監視システム、スポーツ中継などの放送システムなど、複数のビデオカメラを用いて撮像対象を撮像するものであれば、いずれのシステムにおいても適用することが可能である。
【０１０３】
上述の実施の形態では、複数回算出した同期ずれから平均値を算出する構成であったが、平均値に限らず、最頻値、中央値などの他の統計値を求めることも可能である。また、撮像対象の移動方向に応じて重み付けを行う構成であったが、複数の撮像対象に基づいて、同期ずれを複数回算出する場合は、夫々の撮像対象の移動方向に応じて、優先順位を設定し、優先順位の最も高いものを用いることにより、同期ずれの精度を向上させることもできる。
【０１０４】
上述の実施の形態においては、ビデオカメラを２台備える構成であったが、ビデオカメラの数は２台に限定されるものではなく、撮像周期が同一のビデオカメラを３台以上備える場合であっても、本発明を適用することが可能である。この場合は、任意の２台を選択し、選択したビデオカメラ間の同期ずれを算出することができる。
【０１０５】
上述の実施の形態においては、ビデオカメラ１、２の撮像周期は略３３ｍｓであり、第１撮像画像及び第２撮像画像の取得周期も、撮像周期に等しい構成であったが、これに限定されるものではなく、ビデオカメラの撮像周期と、撮像画像の取得周期が異なる構成であってもよい。例えば、ビデオカメラ１の撮像周期、すなわち、フレームレートを毎秒３０フレームとし、ビデオカメラ２のフレームレートを毎秒１５フレームとし、ビデオカメラ１で撮像した第１撮像画像及びビデオカメラ２で撮像した第２撮像画像夫々を毎秒１５フレームで取得する構成であってもよい。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態に係る画像処理装置の概要を示す模式図である。
【図２】画像メモリに記憶された撮像画像を示す概念図である。
【図３】撮像対象の略直線移動を判定する例を示す概念図である。
【図４】特徴点及び対応点の関係を示す説明図である。
【図５】同期ずれの重み付けの例を示す説明図である。
【図６】ステレオ画像による位置算出の例を示す説明図である。
【図７】同期ずれ算出の処理手順を示すフローチャートである。
【図８】同期ずれ算出の処理手順を示すフローチャートである。
【図９】算出した同期ずれに基づいた三次元位置算出の処理手順を示すフローチャートである。
【図１０】三次元位置算出の処理手順を示すフローチャートである。
【符号の説明】
【０１０７】
１、２  ビデオカメラ
３、画像処理装置
３１  インタフェース部
３２  第１画像メモリ
３３  第２画像メモリ
３４  ＲＡＭ
３５  入出力部
３６  記録部
３７  記憶部
３８  ＣＰＵ
【図１】
2006226965.tif 000007
【図２】
2006226965.tif 000008
【図３】
2006226965.tif 000009
【図４】
2006226965.tif 000010
【図５】
2006226965.tif 000011
【図６】
2006226965.tif 000012
【図７】
2006226965.tif 000013
【図８】
2006226965.tif 000014
【図９】
2006226965.tif 000015
【図１０】
2006226965.tif 000016