(57)【要約】  実環境における対象物に関連する物理量の観測値に基づいて、次の時刻の対象物の位置を効率よく推定する。そのために、画像処理装置は、第一画像から状態予測を行う第一対象物が撮像された第一対象物像を抽出し、前記第一対象物の種類を識別する(S102)。状態予測を行う対象物の種類に応じたモデルを第一対象物画像に合わせこみ、第一対象物画像の特徴点に紐づける(S105)。第一対象物の種類に対応した有限状態系列から第一対象物の位置及び初期観測状態を基に複数の動き系列を選択する(S108)。第一対象物画像に合わせこんだモデル及びそれに紐づけられた特徴点の座標を、選択した複数の動き系列に含まれる各動き系列に従って変換し(S111)、上記変換後の特徴点を中心としてパーティクルを生成し(S112)、最も確率が高いパーティクルを第一対象物の予想状態として決定する(S113)。
2017051480.tif 000002
【特許請求の範囲】
【請求項１】
第一時刻に撮像された第一画像及び前記第一時刻よりも後の第二時刻において撮像された第二画像を読み込む画像読込部と、
前記第一画像から状態予測を行う第一対象物が撮像された第一対象物画像を抽出し、前記第一対象物の種類を識別するとともに、前記第二画像から状態予測を行う第二対象物が撮像された第二対象物画像を抽出する対象物識別部と、
状態予測を行う対象物の種類に応じたモデルを規定するモデル情報を記憶するモデル情報記憶部と、
前記第一対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、
前記モデル情報記憶部から前記第一対象物の種類に対応するモデル情報を読み出し、前記第一対象物画像の特徴点を読み出したモデルに紐づけると共に、前記有限状態系列記憶部から前記第一対象物の種類に対応する有限状態系列を検索し、検索された有限状態系列に含まれる動き系列の中から、前記第一対象物の位置及び前記第一対象物の初期観測条件の少なくとも一つに基づいて複数の動き系列を選択し、第一対象物画像に合わせこんだモデル及びそれに紐づけられた特徴点の座標を、前記選択した複数の動き系列に含まれる各動き系列に従って変換し、変換後の特徴点を中心とし、存在確率に応じてパーティクルを生成するモデル状態予測部と、
前記第一時刻よりも遅い第二時刻において撮像された第二画像に含まれる第二対象物画像及び前記各特徴点を基に生成されたパーティクルのマッチング処理を行い、前記各特徴点に対して生成されたパーティクル中から最も確率が高いパーティクルを前記第二時刻における前記第一対象物の予想状態として決定するマッチング部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記有限状態系列記憶部は、前記対象物の形状変化の系列を規定した有限状態系列を記憶し、
前記モデル状態予測部は、前記対象物の形状変化量を算出し、当該形状変化量に応じて前記モデルを幾何変換させて予測状態を演算する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記有限状態系列記憶部は、前記対象物の色変化の系列を規定した有限状態系列を記憶し、
前記モデル状態予測部は、前記対象物の変化後の色を出力する、
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記有限状態系列記憶部は、前記対象物の特徴量変化の系列を規定した有限状態系列を記憶し、
前記モデル状態予測部は、前記対象物の変化後の特徴量系列を出力する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記モデル情報に含まれるモデルは、前記第一対象物画像において死角となる位置にあるコーナ及びエッジを含む３次元ワイヤーフレームモデルである、
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記マッチング部は、前記第一対象物画像及び前記第二対象物画像の類似度が、前記第一対象物の予想状態及び前記第二対象物が同一であると判定するための許容閾値内にある場合、前記第二対象物の状態を出力する状態出力部を更に備える、
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記対象物は、車両であり、
前記第一画像及び前記第二画像は、前記車両に搭載されたカメラから前記車両の進行方向前方を撮像した画像である、
ことを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記第一画像及び前記第二画像は、定点観測カメラが撮像した画像であり、
前記対象物は、定点観測対象物である、
ことを特徴とする画像処理装置。
【請求項９】
第一時刻に撮像された第一画像から状態予測を行う第一対象物が撮像された第一対象物画像を抽出し、前記第一対象物の種類を識別するステップと、
状態予測を行う対象物の種類に応じたモデルを前記第一対象物画像に合わせこみ、前記第一対象物画像の特徴点及び前記モデルを紐づけるステップと、
前記第一対象物の種類に対応した時間経過に伴う複数の状態変化の系列を規定した有限状態系列を、複数の有限状態系列を記憶する有限状態系列記憶部から検索するステップと、
検索した有限状態系列に含まれる動き系列の中から、前記第一対象物の位置及び前記第一対象物の少なくとも一つ基に複数の動き系列を選択するステップと、
前記第一対象物画像に合わせこんだモデル及びそれに紐づけられた特徴点の座標を、前記選択した複数の動き系列に含まれる各動き系列に従って変換するステップと、
前記変換後の特徴点を中心とし、存在確率に応じてパーティクルを生成するステップと、
前記第一時刻よりも遅い第二時刻において撮像された第二画像に含まれる第二対象物画像及び前記各特徴点を基に生成されたパーティクルのマッチング処理を行い、前記各特徴点に対して生成されたパーティクル中から最も確率が高いパーティクルを前記第二時刻における前記第一対象物の予想状態として決定するステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特に撮像された画像から被写体の状態変化を予測する技術に関する。
【背景技術】
【０００２】
特許文献１には、撮像された画像から、パーティクルフィルタ法により対象物の物理量を推定したり、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を推定したりする技術が提案されている。【０００３】
特許文献２には、三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像を表す部分画像情報とから構成される三次元モデルを二次元の観測空間に投影して、二次元の観測空間において選択した特徴点セットを用いて三次元モデルの状態量を推定して、推定した三次元モデル状態を観測空間に投影して適合度を繰り返し計算して三次元モデルの状態量を推定する技術が提案されている。【０００４】
特許文献３には、ターゲットの存否を判定するための注目領域を、画像における複数の位置に順次設定し、注目領域にターゲットが存在すると仮定した場合のパーツの基準位置をバネモデルに基づいて設定し、基準位置からのずれの度合いを表す値であるバネコストを、検出したパーツのそれぞれについて算出する。そして、算出したバネコストが所定範囲内の同一種類のパーツが複数存在することを条件として、注目領域を、集団を構成するターゲットが存在するターゲット領域として判定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−４４３５２号公報
【特許文献２】特開２００７−２９９３１２号公報
【特許文献３】特開２０１４−６３２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のパーティクルフィルタを応用した追跡手法は、類似した対象物が複数あって交差があるとパーティクルを混同し個々の対象の追跡を誤るという問題があった。また対象物の遮蔽があるとパーティクルが消滅し対象の追跡を誤るという問題があった。また対象物の動きの変化が一様でない場合でも安定な追跡を実現するためには、多数のサンプルを生成する必要があり、処理速度が低下してしまう問題があった。また対象物が増加すると生成するサンプルが増大し、処理速度が低下してしまう問題があった。【０００７】
特許文献２の二次元の観測空間において選択した有効な特徴点セットにより三次元モデルの状態量を推定しているが、前回の三次元モデルの状態から今回の三次元モデルの状態の予測は位置と速度と加速度による演算による位置予測のみを行っているため、加速度が変化する複雑な動きを追跡するには観測間隔を短くする必要があり、観測の間に他の処理を行うだけの時間間隔がない問題があった。【０００８】
特許文献３のバネモデルによる画像処理装置は、対象の集団の領域を精度よく検出する方法を示しているが、類似した複数の対象が分かれていく場合の追跡の効率が良くないという問題があった。【０００９】
本発明の目的は上記問題点を解決し、実環境における対象物に関連する物理量の観測値に基づいて、次の時刻の対象物の位置を効率よく推定する技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、第一時刻に撮像された第一画像及び前記第一時刻よりも後の第二時刻において撮像された第二画像を読み込む画像読込部と、前記第一画像から状態予測を行う第一対象物が撮像された第一対象物画像を抽出し、前記第一対象物の種類を識別するとともに、前記第二画像から状態予測を行う第二対象物が撮像された第二対象物画像を抽出する対象物識別部と、状態予測を行う対象物の種類に応じたモデルを規定するモデル情報を記憶するモデル情報記憶部と、前記第一対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、前記モデル情報記憶部から前記第一対象物の種類に対応するモデル情報を読み出し、前記第一対象物画像の特徴点を読み出したモデルに紐づけると共に、前記有限状態系列記憶部から前記第一対象物の種類に対応する有限状態系列を検索し、検索された有限状態系列に含まれる動き系列の中から、前記第一対象物の位置及び前記第一対象物の初期観測条件の少なくとも一つに基づいて複数の動き系列を選択し、第一対象物画像に合わせこんだモデル及びそれに紐づけられた特徴点の座標を、前記選択した複数の動き系列に含まれる各動き系列に従って変換し、変換後の特徴点を中心とし、存在確率に応じてパーティクルを生成するモデル状態予測部と、前記第一時刻よりも遅い第二時刻において撮像された第二画像に含まれる第二対象物画像及び前記各特徴点を基に生成されたパーティクルのマッチング処理を行い、前記各特徴点に対して生成されたパーティクル中から最も確率が高いパーティクルを前記第二時刻における前記第一対象物の予想状態として決定するマッチング部と、を備えることを特徴とする。
【発明の効果】
【００１１】
上記発明により、実環境における対象物に関連する物理量の観測値に基づいて、次の時刻の対象物の位置を効率よく推定する技術を提供することができる。なお上記した以外の課題、解決手段は以下の実施形態により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかる画像処理装置のハードウェア構成を示す図
【図２】画像処理装置１０で実行される状態変化予測プログラムの構成を示す機能ブロック図
【図３】第一実施形態における実空間の説明図
【図４】カメラ２４で撮像して得られた画像（観測空間）を示す図
【図５】本実施形態にかかる画像処理装置の処理の流れを示すフローチャート
【図６】ステレオカメラによる距離の演算処理を示す説明図
【図７】ワイヤーフレームモデルの一例を示す図であって、（ａ）は観測空間内に存在するワイヤーフレームモデルを示し、（ｂ）は生成されたワイヤーフレームモデルだけを示す。
【図８】ステレオカメラの対応点に基づき設定した対象物の領域を示す図
【図９】対象物画像からの特徴点の検出例を示す図であって、（ａ）は対象物画像からコーナ等の特徴点を検出した状態を示し、（ｂ）は検出した特徴点をワイヤーフレームモデルと紐づけた状態を示す。
【図１０】動きベクトル、加速度の算出例を示す図
【図１１】観測空間において識別した対象物を２次元の道路地図上の状態として示した図
【図１２】有限状態系列例を示す図であって、（ａ）は１回の動き角度を大きく示した有限状態系列例、（ｂ）は対象物の状態に基づく動き系列の選択を概念的に示す。
【図１３】第一対象物１３０に選択された動き系列１３１を割り当てた状態を示す図
【図１４】図１１の２次元の道路地図上の対象物に動き系列を適用した状態を示す図
【図１５】対象物の動きベクトルを示す図
【図１６】動き系列及び動きベクトルによる動き予測を示す図
【図１７】複数選択された動き系列と動きベクトル、加速度の組み合わせにより複数の２次元の動き予測が生成された状態を示す図
【図１８】ワイヤーフレームモデルの射影変換による変形例を示す図
【図１９】ワイヤーフレームモデルに対応付けられた特徴点の射影変換を示す図
【図２０】対応する特徴点を中心にパーティクルを生成した状態を示す図
【図２１】最も類似するパーティクルを選択した状態を示す図
【発明を実施するための形態】
【００１３】
以下、本発明の好適な実施の形態を図面を参照しながら詳細に説明する。
【００１４】
図１に本発明の実施の形態にかかる画像処理装置のハードウェア構成を示す。図１に示すように本実施形態にかかる画像処理装置１０は、対象物の状態変化を予測する演算処理を司るＣＰＵ１４と、データ記憶装置としてのＲＯＭ１６及びＲＡＭ１８の各々とがバス２６を介してコマンドやデータを授受可能に接続されたコンピュータとして構成される。このバス２６には、カメラ２４からの撮像画像が入力される画像取り込み装置２２が接続されている。
【００１５】
また、バス２６には、外部装置へ各種データを出力するためのデータ出力Ｉ／Ｆ１２、及び状態予測を行う対象物の種類に応じたモデルを規定するモデル情報辞書２０１（図２参照）、及びモデルの時間経過に伴う複数の状態変化の系列を規定した状態系列辞書２０２（図２参照）が予め格納されているファイルユニット２０が接続されている。モデル情報辞書２０１はモデル情報記憶部に相当し、状態系列辞書２０２は有限状態系列記憶部に相当する。
【００１６】
ＲＯＭ１６には、処理ルーチン等のプログラムが予め記憶されている。なお、本実施形態に係る画像処理装置１０には、以上の構成の他に、電源装置等、多数の電気系の構成要素が含まれているが、周知または一般的なものであるため詳細な説明を省略する。
【００１７】
図２は、画像処理装置１０で実行される状態変化予測プログラムの構成を示す機能ブロック図である。
【００１８】
画像処理装置１０は、画像取り込み装置２２を介してカメラ２４が撮像した第一時刻に撮像された第一画像及び第一時刻よりも後の第二時刻において撮像された第二画像を読み込む画像読込部１４ａ、第一画像から状態予測を行う第一対象物が撮像された第一対象物画像を抽出し、第一対象物の種類を識別するとともに、第二画像から状態予測を行う第二対象物が撮像された第二対象物画像を抽出する対象物識別部１４ｂと、第一対象物の種類に応じたモデルをモデル情報辞書から選択し、モデルと第一対象物の特徴点とを紐づけ、モデル及び特徴点を有限状態系列に従って変換し、変換後の特徴点を中心とするパーティクルを生成するモデル状態予測部１４ｃと、パーティクルから第二対象画像に最も類似するものを選択するマッチング部１４ｄとを含む。画像読込部１４ａ、対象物識別部１４ｂ、モデル状態予測部１４ｃ、及びマッチング部１４ｄは各構成要素の機能を実現するプログラムをＣＰＵ１４がＲＡＭ１８にロードして実行することにより構成される。
【００１９】
モデル情報辞書２０１及び状態系列辞書２０２は、既述の通りファイルユニット２０に格納されるデータとして構成される。
【００２０】
以下、本実施形態では、本発明に係る画像処理装置１０を車両に搭載し、車両走行方向監視を行う事例について説明する。上記カメラ２４は車両内に搭載され、対象物である車両外の他車車両や歩行者等を撮像するようになっている。
【００２１】
図３は、第一実施形態における実空間の説明図である。図３に示すように、本実施形態では、実空間内３０にカメラ２４を搭載した車両３１が存在する。また実空間３０内に対象物３２〜３７が存在し、カメラ２４が観測する。対象物３２〜３７は、位置や方向が変化する。実空間３０は、例えば、各々直交するＸ軸、Ｙ軸、Ｚ軸を座標軸とする三次元空間であり、この三次元空間内の三次元点は、三次元座標（Ｘ，Ｙ，Ｚ）、及び各々の成分速度（や加速度）等により表現できる。
【００２２】
図４はカメラ２４で撮像して得られた画像（観測空間）を示す図である。本実施形態では、この画像４０内を観測空間４１としている。すなわち、観測空間４１は、カメラ２４から得られる情報、例えば、各々直交するｘ軸、ｙ軸を座標軸とする二次元空間であり、この二次元空間内の二次元点は、二次元座標（ｘｉ，ｙｉ）により表現される。画像４０内では、実空間の対象物３２〜３７は、各領域４２〜４７に撮像される。各対象物が撮像された領域４２〜４７を対象物画像という。
【００２３】
次に、本実施の形態の画像処理装置１０で実行される対象物の動き予測処理について説明する。図５は、本実施形態にかかる画像処理装置の処理の流れを示すフローチャートである。
【００２４】
画像読込部１４ａは、カメラ２４で第一時刻において撮影した第一画像を読込み（Ｓ１０１）、対象物識別部１４ｂに出力する。
【００２５】
対象物識別部１４ｂは、第一画像から周知の方法により自動車、人物、二輪車などの特徴を検出して識別し（Ｓ１０２）、識別した結果を識別した対象の識別データとしてＲＡＭ１８に格納する。対象の特徴の検出は、例えば、撮影した画像からＨＯＧ特徴量をＣＰＵ１４で演算することにより行い、対象の識別は、ＲＯＭ１６もしくはファイルユニット２０に予め格納した識別辞書から演算した特徴量との類似度を、ＲＯＭ１６に予め格納したサポートベクトルマシンやブースティング等の演算処理をＣＰＵ１４が行うことにより実現できる。このとき、識別した対象と識別データに対応する識別子を付けてもよい。
【００２６】
次に、対象物識別部１４ｂは、識別した対象の画像から幅、奥行き、高さを求めて結果を識別した対象のサイズデータとしてＲＡＭ１８に格納する（Ｓ１０３）。図６は、ステレオカメラによる距離の演算処理を示す説明図である。図６では、ステレオカメラで撮像した画像から左右各カメラ間の基線長、焦点距離、及び視差を用いて演算することにより距離を求め、これから識別した対象の画像から幅、奥行き、高さを求めてもよい。このとき、サイズデータに識別した対象と対応する識別子を付けてもよい。
【００２７】
次にモデル状態予測部１４ｃが、ＲＡＭ１８に格納した識別した対象の識別データを基にモデル情報辞書２０１から識別した対象に一致するワイヤーフレームモデルを読込み、サイズデータを基に、このサイズデータが示すサイズに合ったワイヤーフレームを生成する（Ｓ１０４）。本実施形態では、第一対象物の種類が乗用車であり、乗用車には直方体形状の３次元ワイヤーフレームモデルがモデル情報辞書２０１に書き込まれているものとする。
【００２８】
図７は識別した対象のワイヤーフレームモデルの一例を示す図である。対象物の識別データとサイズデータからワイヤーフレームモデル（３次元ワイヤーフレームモデル）７０を生成する（図７（ａ）参照）。図７（ｂ）に示すように、生成されたワイヤーフレームモデル７２は、カメラ２４を搭載した車両から見て死角となる位置にあるコーナ及びエッジを含む。これにより、第一対象物画像では死角となる第一対象物（乗用車）の形状の変位も、より精度高く予測することができる。なお、ワイヤーフレームモデルに対応する識別子を付けてもよい。
【００２９】
モデル状態予測部１４ｃは、第一対象物とモデルとの合わせこみを行う。具体的には、第一対象物の特徴点をモデルに紐づける（Ｓ１０５）。
【００３０】
図８、図９を基に対象物の特徴点の抽出例を示す。図８はステレオカメラの対応点に基づき設定した対象物の領域を示す。図８に示すようにステレオカメラによる特徴量の検出は対象の動きが少なくても、また対象が剛体のようなもので無い場合のように特徴点間の動きが複雑でも距離を算出できる。これによりステレオカメラの対応点を認識でき、この対応点に基づき対象物の撮像領域（対象物画像）が抽出できる。
【００３１】
図９に、対象物画像からの特徴点の検出例を示す。特徴点の検出としてはハリスオペレータ等によるコーナ等の検出を行い対象物９０のコーナ等の特徴点を検出する（図９（ａ）参照）。各特徴点は識別子が付けられている。検出した特徴点をワイヤーフレームモデルのコーナからの相対座標に紐づける（図９（ｂ）参照）。これにより、ワイヤーフレームモデル９２の位置で特徴点の位置を定義づけることができる。
【００３２】
図５では図示を省略するものの、ステップＳ１０１からステップＳ１０５の間に第一時刻よりも遅い第二時刻においてカメラ２４が撮像した第二画像を読込み、Ｓ１０２と同様の処理により第二画像から第二対象物画像を抽出、識別する。
【００３３】
モデル状態予測部１４ｃは、第一対象物画像と第二対象物画像とに基づいて、識別した対象物の動き観測から動きベクトル、加速度を求める（Ｓ１０６）。このステップを最初に処理する場合、対象を最初に識別した時点から一定時間後に対象を観測して対象の速度を求め、さらに一定時間後に対象を観測して対象の加速度を求める。図１０は、動きベクトル、加速度の算出例を示す図である。図１０では、モデル１００の特徴点の動きベクトル、加速度を検出する。最初は例えばセミグローバルマッチング等で動きベクトル、加速度を検出してもよい。動きベクトルの算出は各種の方法があるが、例えばＫＬＴ特徴点計算法などを用いることができる。
【００３４】
モデル状態予測部１４ｃは、識別した第一対象物と識別した第一対象物の周囲状態を観測して、ファイルユニット２０に予め格納した状態系列辞書２０２から識別した第一対象物とその周囲状態に対応する有限状態系列を検索する（Ｓ１０７）。
【００３５】
図１１は、ＧＰＳ等と連動するカーナビシステム等の道路地図情報を得て、観測空間４１（図４参照）において識別した対象を２次元の道路地図上の状態として示した図である。また図１２は有限状態系列例を示し、（ａ）は１回の動き角度を大きく示した有限状態系列例、（ｂ）は対象物の状態に基づく動き系列の選択を概念的に示す。
【００３６】
モデル状態予測部１４ｃは、ファイルユニット２０に格納した状態系列辞書２０２から有限状態系列１２０を選択する（図１２（ａ）参照）。
【００３７】
次にモデル状態予測部１４ｃは、選択した有限状態系列１２０から、第一対象物の位置及び初期観測状態の少なくとも一つを基に、複数の動き系列を選択する（Ｓ１０８）。図１２（ｂ）において状態予測１２２が図示された動き系列が、選択された動き系列である。
【００３８】
モデル状態予測部１４ｃは、選択した複数の系列を対象物に割当てる（Ｓ１０９）。図１３は第一対象物１３０に選択された動き系列１３１を割り当てた状態を示す。この処理を図１１の対象物１１１、１１２、１１３、１１４、１１５、１１６、１１７，１１８に適用すると、図１４の対象物１４１、１４２、１４３、１４４、１４５、１４６，１４７、１４８のように２次元の道路地図上において動き予測が行われる。
【００３９】
モデル状態予測部１４ｃは、動き予測をした対象物（図１４の対象物１４１、１４２、１４３、１４４、１４５、１４６、１４７，１４８）にＳ１０６で観測した動きベクトルや加速度を重畳する（Ｓ１１０）。図１６は第一対象物１３０に選択された動き系列１３１を割り当てた状態（図１３参照）に動きベクトル１５０（図１５参照）を重畳した状態を示す。動き予測１６０（図１６参照）は、重畳された動きベクトル１５０によって、重畳前の系列１３１（図１３）とは異なる大きさとなる。この処理を図１４の各対象物に適用すると、図１４の２次元の道路地図上の動き予測は図１７のように２次元の道路地図上に動き予測される。
【００４０】
モデル状態予測部１４ｃは２次元の道路地図上の動き予測をカメラ２４から見た観測空間に変換する（Ｓ１１１）。この変換の一例を数式（１）で示す。
【数１】
2017051480.tif 000003
【００４１】
この数式（１）によって求めたワイヤーフレームモデルの変換を図１８に示す。カメラ２４から得られた観測空間４１に設定したワイヤーフレームモデル１８０の二次元座標（ｘｉ，ｙｉ）は、動き予測後の二次元座標（ｘｉ’，ｙｉ’）に変換され、ワイヤーフレーム１８２に変形する。図１８では説明の便宜のため一つのワイヤーフレームモデルしか図示していないが、実際は複数の２次元の動き系列（動き予測）に応じて変形された複数のワイヤーフレームモデルが生成される。
【００４２】
図１８のワイヤーフレームモデルの変換（上記では射影変換）により、ワイヤーフレームモデルに対応づけられた特徴点１９０も射影変換されて特徴点１９２に変換される（図１９参照）。図１９では説明の便宜のため一つのワイヤーフレームモデルしか図示していないが、実際は複数の２次元の動き系列（動き予測）に応じて変形された複数のワイヤーフレームモデルが生成され、これに対応して特徴点も複数の組が生成される。
【００４３】
モデル状態予測部１４ｃは、変換した特徴点１９２の座標の小領域に確率に基づきパーティクル２００（図２０参照）を生成する（Ｓ１１２）。パーティクルの生成を水平、垂直変位、角度変位を同じグループ内でずらすことで、互いにカバーしあい少ないパーティクルで空間的な網羅性を高める。
【００４４】
マッチング部１４ｄは、第二対象物画像と生成されたパーティクルとのマッチングを尤も確率の高いパーティクルから行う（Ｓ１１３）。ここでは最も類似度の高いパーティクルを選択する。パーティクルは特徴点ごとに異なる分布で置かれているので、最も類似度整合性の高いパーティクルによりワイヤーフレームと特徴点位置の補正を行い、類似度計算を検算する。そして同じ系のパーティクルの類似度整合性の最も高い系２１０を選択する（図２１参照）。マッチングしたパーティクルは変換後のワイヤーフレームモデルに対応する特徴点と対応付ける。
【００４５】
その後ステップ１０８へ戻り、上記第一画像を第二画像に、上記第二画像を第二時刻よりも後に撮像された第三画像に読み替えて処理を繰り返す。
【００４６】
本実施形態によれば、個々の対象物に対応付けられたモデルの遷移とそのモデルに紐づけられた少数の特徴点により対象物の変位を推定するので、類似した対象物が複数ある場合や対象物が遮蔽される場合があっても、計算量の増大を抑えて対象物の個々の位置を推定することができる。
【００４７】
上記実施形態は本発明を限定する趣旨ではなく、本発明の趣旨を逸脱しない範囲の様々な変更態様は、本発明に含まれる。
【００４８】
例えば上記構成に加え、第一対象画像の予測状態と第二対象画像の状態とがマッチングすると判定された場合に第二対象画像の状態を示す情報を出力する状態出力部を更に備えてもよい。例えば上記の構成に状態処理部を備えて、車両に搭載したカメラからの画像に従って歩行者や車両がカメラを搭載した車両に衝突する方向に向かっていることを示す予測状態が求められ、この予測状態が第二対象画像とマッチングする場合はドライバーに対する衝突危険を促す情報を車両に搭載したＨＵＤや警報装置に出力して注意を喚起させてもよい。これにより、予測状態が正しいことを第二対象画像とのマッチング結果により検証してから予測状態出力が行えるので、より正確な予測状態に基づく情報（例えば警報）の出力が行える。
【００４９】
また上記では車載搭載カメラの画像を用いた実施形態をについて説明したが、定点観測カメラからの画像に対して本発明を適用し、定点カメラの画像に撮像された対象物、例えば不審者の動き予測を行ってもよい。
【００５０】
また、定点カメラで作物の成長観察を行う場合にも本発明を適用し、作物の成長予測を行ってもよい。この場合、作物の成長に伴う形状変化の系列を規定した有限状態系列を適用し、初期状態の作物の形状をモデル化したモデルを用意する。そして状態予測時における画像から作物の形状変化量を算出し、その変化量に応じてモデルを有限状態系列を基に幾何変換させて予測状態を演算してもよい。
【００５１】
その際、作物の成長に伴う色変化の系列を規定した有限状態系列を更に備え、作物の初期状態における色に作物の種類に応じた有限状態系列を適用し、形状変化と共に色の変化も予測し、変化後の色をモデル予測部が出力してもよい。
【符号の説明】
【００５２】
１０  ・・・画像処理装置
１２  ・・・データ出力Ｉ／Ｆ
１４  ・・・ＣＰＵ
１６  ・・・ＲＯＭ
１８  ・・・ＲＡＭ
２０  ・・・ファイルユニット
２４  ・・・カメラ
３０  ・・・観測対象
４０  ・・・画像
【図１】
2017051480.tif 000004
【図２】
2017051480.tif 000005
【図３】
2017051480.tif 000006
【図４】
2017051480.tif 000007
【図５】
2017051480.tif 000008
【図６】
2017051480.tif 000009
【図７】
2017051480.tif 000010
【図８】
2017051480.tif 000011
【図９】
2017051480.tif 000012
【図１０】
2017051480.tif 000013
【図１１】
2017051480.tif 000014
【図１２】
2017051480.tif 000015
【図１３】
2017051480.tif 000016
【図１４】
2017051480.tif 000017
【図１５】
2017051480.tif 000018
【図１６】
2017051480.tif 000019
【図１７】
2017051480.tif 000020
【図１８】
2017051480.tif 000021
【図１９】
2017051480.tif 000022
【図２０】
2017051480.tif 000023
【図２１】
2017051480.tif 000024
【国際調査報告】
2017051480.tif 000025
2017051480.tif 000026
2017051480.tif 000027
2017051480.tif 000028