(57)【要約】【課題】追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上を図る。【解決手段】画像入力部３には、対象エリアを撮像したフレーム画像が入力される。オブジェクト検出機能部２１は、画像入力部３に入力されたフレーム画像を処理し、撮像されている対象オブジェクトを検出する。同定機能部２４は、オブジェクト検出機能部２１が検出した対象オブジェクトをフレーム画像間で同定する。状態認識機能部２２は、対象オブジェクトの状態を認識する。状態遷移予測機能部２３は、対象オブジェクトが遷移する状態を予測する。そして、同定機能部２４は、フレーム画像間での対象オブジェクトの同定を、状態認識機能部２２が認識した対象オブジェクトの状態と、状態遷移予測機能部２３が予測した対象オブジェクトが遷移する状態とに応じて行う。【選択図】図１
2018147311.tif 000002
【特許請求の範囲】
【請求項１】
対象エリアを撮像したフレーム画像が入力される画像入力部と、
前記画像入力部に入力されたフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出した前記対象オブジェクトをフレーム画像間で同定する同定部と、
前記オブジェクト検出部が検出した前記対象オブジェクトの状態を認識する状態認識部と、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測部と、を備え、
前記同定部は、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識部が認識した前記対象オブジェクトの状態と、前記状態遷移予測部が予測した前記対象オブジェクトが遷移する状態とに応じて行う、画像処理装置。
【請求項２】
前記状態認識部は、前記対象オブジェクトについて、予め定めた複数の状態別に、その状態である確からしさの度合いを認識する、請求項１に記載の画像処理装置。
【請求項３】
前記対象オブジェクトについて、予め定めた複数の状態に属する２つの状態の組合せ毎に、一方の状態から他方の状態に遷移する度合いを示す状態遷移パラメータを記憶する記憶部を備え、
前記状態遷移予測部は、前記記憶部が記憶する前記状態遷移パラメータを用いて、前記対象オブジェクトが遷移する状態を予測する、請求項１、または２に記載の画像処理装置。
【請求項４】
前記状態遷移予測部は、前記記憶部が記憶する前記状態遷移パラメータ、および前記状態認識部が認識した前記対象オブジェクトの状態を用いて、前記対象オブジェクトが遷移する状態を予測する、請求項３に記載の画像処理装置。
【請求項５】
前記同定部は、前記対象オブジェクトを同定するフレーム画像であって、先に撮像された一方のフレーム画像に対して、前記状態認識部が認識した前記対象オブジェクトの状態と前記状態遷移予測部が予測した前記対象オブジェクトの遷移する状態とに応じて、後に撮像された他方のフレーム画像上において同定する前記対象オブジェクトを探索する領域を決定する、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記対象オブジェクトの状態は、前記対象オブジェクトの向きである、請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
画像入力部に入力された、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトをフレーム画像間で同定する同定ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトの状態を認識する状態認識ステップと、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測ステップと、をコンピュータが実行する追跡方法であって、
前記同定ステップは、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識ステップで認識した前記対象オブジェクトの状態と、前記状態遷移予測ステップで予測した前記対象オブジェクトが遷移する状態とに応じて行う、追跡方法。
【請求項８】
画像入力部に入力された、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトをフレーム画像間で同定する同定ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトの状態を認識する状態認識ステップと、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測ステップと、をコンピュータに実行させる追跡プログラムであって、
前記同定ステップは、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識ステップで認識した前記対象オブジェクトの状態と、前記状態遷移予測ステップで予測した前記対象オブジェクトが遷移する状態とに応じて行う、追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトの移動を追跡する技術に関する。
【背景技術】
【０００２】
従来、対象エリアを撮像したフレーム画像を処理して、対象エリア内における人や車両等のオブジェクトの移動を追跡する装置がある（例えば、特許文献１〜３参照）。
【０００３】
この種の装置は、対象エリアを撮像したフレーム画像毎に、そのフレーム画像に撮像されているオブジェクトを検出する。フレーム画像に撮像されているオブジェクトの検出は、背景差分、フレーム間差分、パターンマッチング等の手法で行われる。また、この種の装置は、フレーム画像間で検出したオブジェクトを同定することにより、対象エリア内におけるオブジェクトの移動を追跡する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１５２０２７号公報
【特許文献２】特開２０１４−１４９７１６号公報
【特許文献３】特開２０１６−  ８５６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、対象エリアにおいて、追跡しているオブジェクトの状態（向きや姿勢等）が変化すると、その状態の変化にともなって、フレーム画像に撮像されているオブジェクト（追跡しているオブジェクト）の形状や、移動方向等が変化する。
【０００６】
特許文献１〜３に記載されている装置は、フレーム画像間におけるオブジェクトの同定において、フレーム画像に撮像されているオブジェクトの形状の変化や、オブジェクトの移動方向の変化に対応しておらず、オブジェクトの状態が変化するとフレーム画像間におけるオブジェクトの同定に失敗することがあった。
【０００７】
この発明の目的は、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上を図る技術を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。
【０００９】
画像入力部には、対象エリアを撮像したフレーム画像が入力される。オブジェクト検出部は、画像入力部に入力されたフレーム画像を処理し、撮像されている対象オブジェクトを検出する。同定部は、撮像タイミングが異なる２つのフレーム画像において、オブジェクト検出部が検出した対象オブジェクトを同定する。
【００１０】
また、状態認識部は、オブジェクト検出部が検出した対象オブジェクトの状態を認識する。例えば、状態認識部は、対象オブジェクトについて、予め定めた複数の状態別に、その状態である確からしさの度合いを認識する。また、状態遷移予測部は、対象オブジェクトが遷移する状態を予測する。
【００１１】
そして、同定部は、フレーム画像間での対象オブジェクトの同定を、状態認識部が認識した対象オブジェクトの状態と、状態遷移予測部が予測した対象オブジェクトが遷移する状態とに応じて行う。例えば、同定部は、対象オブジェクトを同定するフレーム画像であって、先に撮像された一方のフレーム画像に対して、状態認識部が認識した対象オブジェクトの状態と状態遷移予測部が予測した対象オブジェクトの遷移する状態とに応じて、後に撮像された他方のフレーム画像上において同定する対象オブジェクトを探索する領域を決定する。したがって、追跡している対象オブジェクトの状態（向きや姿勢等）が変化し、その状態の変化にともなって、フレーム画像に撮像されている対象オブジェクト（追跡しているオブジェクト）の形状や、移動方向等が変化しても、その変化に応じて、対象オブジェクトをフレーム画像間で同定できる。すなわち、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上が図れる。
【００１２】
また、対象オブジェクトについて、予め定めた複数の状態に属する２つの状態の組合せ毎に、一方の状態から他方の状態に遷移する度合いを示す状態遷移パラメータを記憶する記憶部を備え、状態遷移予測部がこの状態遷移パラメータを用いて、対象オブジェクトが遷移する状態を予測する構成にしてもよい。このように構成すれば、状態遷移パラメータを適正に設定することで、状態遷移予測部における対象オブジェクトが遷移する状態の予測精度を向上できる。これにより、フレーム画像間における対象オブジェクトの同定精度の一層の向上が図れる。
【００１３】
さらに、状態遷移予測部は、状態認識部が認識した対象オブジェクトの状態をも用いて、対象オブジェクトが遷移する状態を予測する構成にしてもよい。このように構成すれば、状態遷移予測部は、対象オブジェクトの現在の状態も考慮して、遷移する状態を予測するので、対象オブジェクトが遷移する状態の予測精度の一層の向上が図れる。
【発明の効果】
【００１４】
この発明によれば、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上が図れる。
【図面の簡単な説明】
【００１５】
【図１】この例にかかる画像処理装置の主要部の構成を示す図である。
【図２】フレーム画像上における車両の状態の分類を説明する図である。
【図３】図３（Ａ）は、従来のフレーム間で車両の同定を示し、図３（Ｂ）は、この例にかかるフレーム間で車両の同定を示す。
【図４】オブジェクトマップを示す図である。
【図５】この例にかかる画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、この発明の実施形態である画像処理装置について説明する。
【００１７】
図１は、この例にかかる画像処理装置の主要部の構成を示す図である。この例にかかる画像処理装置１は、制御部２と、画像入力部３と、出力部４と、状態遷移パラメータ記憶部５と、を備えている。この画像処理装置１には、カメラ１０が接続されている。カメラ１０の撮像エリアは、オブジェクトを追跡する対象エリアを含む大きさである。この例では、画像処理装置１が対象エリアにおいて追跡するオブジェクトは、車両である。すなわち、この例では、車両が、この発明で言う対象オブジェクトに相当する。カメラ１０は、モノクロ画像を撮像するものであってもよいし、カラー画像を撮像するものであってもよい。カメラ１０は、一定のフレームレート（例えば、３０フレーム／ｓｅｃ）で撮像したフレーム画像を画像処理装置１に入力する。
【００１８】
なお、画像処理装置１は、図１に示すようにカメラ１０から直接フレーム画像を入力してもよいし、カメラ１０が撮像したフレーム画像をハードディスク等のメディアに一旦記録し、このメディアに記録したフレーム画像を入力してもよい。
【００１９】
制御部２は、画像処理装置１本体の各部を制御する。また、制御部２は、カメラ１０が撮像したフレーム画像を処理し、フレーム画像に撮像されている車両を検出し、検出した車両の追跡を行う。制御部２は、図１に示すように、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４を有している。
【００２０】
この制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４として機能する。また、メモリは、ワーキングエリアとして、一時的なデータの記憶領域として利用される。また、制御部２が、この発明にかかる追跡方法を実行する。また、この発明にかかる追跡プログラムは、制御部２において実行される。制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路を一体化したＬＳＩであってもよい。
【００２１】
制御部２が有するオブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４の詳細については後述する。
【００２２】
なお、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４は、制御部２とは別に設けた画像処理プロセッサで構成してもよい。この場合、画像処理プロセッサが、この発明にかかる追跡方法を実行する。また、この発明にかかる追跡プログラムは、画像処理プロセッサにおいて実行される。
【００２３】
画像入力部３には、カメラ１０が予め定めたフレームレートで撮像エリアを撮像したフレーム画像が入力される。画像入力部３は、入力されたフレーム画像を一時的に記憶する画像メモリを有している。
【００２４】
出力部４は、対象エリア内で追跡した各車両の追跡結果（後述する、オブジェクトマップ）を上位装置（不図示）に出力する。
【００２５】
状態遷移パラメータ記憶部５は、車両が状態Ｓｉから状態Ｓｊに遷移する度合いを定めた状態遷移パラメータを記憶する。この例では、車両の状態Ｓは、フレーム画像上における車両の向きであり、図２に示す８つの状態Ｓ１〜Ｓ８に分類している。状態の分類数は、８つに限らず、２つ以上であればいくつであってもよい。図２に示す車両の状態Ｓ１〜Ｓ８（向き）は、カメラ１０が撮像したフレーム画像上における向きである。撮像エリアに対するカメラ１０の撮像方向は固定であるので、図２に示す状態Ｓ１〜Ｓ８の車両は、撮像エリアにおいて向きが異なっている。図２に示す、
状態Ｓ１は、車両がフレーム画像上において後ろ向きである状態であり、
状態Ｓ２は、車両がフレーム画像上において左斜め後ろ向きである状態であり、
状態Ｓ３は、車両がフレーム画像上において左横向きである状態であり、
状態Ｓ４は、車両がフレーム画像上において左斜め前向きである状態であり、
状態Ｓ５は、車両がフレーム画像上において前向きである状態であり、
状態Ｓ６は、車両がフレーム画像上において右斜め前向きである状態であり、
状態Ｓ７は、車両がフレーム画像上において右横向きである状態であり、
状態Ｓ８は、車両がフレーム画像上において右斜め後ろ向きである状態である。
【００２６】
状態遷移パラメータ記憶部５が記憶する状態遷移パラメータは、ｎ行ｎ列の正方行列Ｔである。ｎは、追跡対象であるオブジェクトの状態の分類数である。この例では上述したように車両の状態の分類数は８つであるので、ｎ＝８である。状態遷移パラメータである正方行列Ｔ（以下、単に状態遷移パラメータＴと言う。）の各要素Ｔｊｉは、車両が状態Ｓｉから状態Ｓｊに遷移する度合いである。ここで言う車両の状態Ｓの遷移には、同じ状態Ｓの遷移も含まれる。
【００２７】
追跡する対象オブジェクトである車両の状態Ｓは、フレーム画像間において急激に変化することはなく、徐々に変化する。例えば、あるフレーム画像に撮像されている車両が図２に示す状態Ｓ１〜Ｓ８のいずれかである場合、次のフレーム画像に撮像されている当該車両は、同じ状態、または図２に示す隣接する２つの状態（合計３つの状態）のいずれかに遷移する度合いが高く、これら以外の状態に遷移する度合いは極めて小さい。例えば、あるフレーム画像に撮像されている車両が図２に示す状態Ｓ１である場合、次のフレーム画像に撮像されている当該車両は、同じ状態Ｓ１、または図２に示す隣接する２つの状態Ｓ２、Ｓ８のいずれかである度合いが高く、これら以外の状態Ｓ３〜Ｓ７である度合いは極めて小さい。
【００２８】
この状態遷移パラメータＴは、カメラ１０で撮像する対象エリアにおける車両の状態遷移を計測し、その計測結果を統計的に処理する等して各要素Ｔｊｉを決定すればよい。状態遷移パラメータ記憶部５が、この発明で言う記憶部に相当する。
【００２９】
次に、制御部２が有するオブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４について説明する。
【００３０】
オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像に撮像されている車両を検出する。オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像と背景画像との差分画像（背景差分画像）を生成して撮像されている車両を検出する構成であってもよいし、カメラ１０が撮像したフレーム画像間の差分画像（フレーム間差分画像）を生成して撮像されている車両を検出する構成であってもよい。また、オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像に撮像されている車両をパターンマッチングによって検出する構成であってもよいし、これら以外の公知の手法で検出する構成であってもよい。オブジェクト検出機能部２１が、この発明で言うオブジェクト検出部に相当する。
【００３１】
状態認識機能部２２は、オブジェクト検出機能部２１が検出した車両について、フレーム画像上における状態ベクトルｓを認識する。上述したように、この例では、追跡する車両の状態Ｓを８つに分類している。状態認識機能部２２は、オブジェクト検出機能部２１が検出した車両について、図２に示す状態Ｓ１〜Ｓ８の確からしさの度合いａ１〜ａ８を認識する。具体的には、状態認識機能部２２は、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８）
の８次元のベクトルとして認識する。ａｍ（ｍ＝１〜８）は、検出した車両が図２に示した状態Ｓｎ（ｎ＝１〜８）である確からしさの度合いの認識結果である。
【００３２】
例えば、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ１であり、他の状態Ｓ２〜Ｓ８でないことを認識した場合、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，０，０，０，０，０，０，０）
の８次元のベクトルを生成する。また、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ３〜Ｓ８でないことを認識できたが、状態Ｓ１であるか状態Ｓ２であるかの認識ができなかった場合（状態Ｓ１、と状態Ｓ２の確からしさが同じである場合、）、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，１，０，０，０，０，０，０）
の８次元のベクトルを生成する。さらに、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ１〜Ｓ８のいずれであるか認識できなかった場合（状態Ｓ１〜状態Ｓ８の確からしさが同じ場合、）、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，１，１，１，１，１，１，１）
の８次元のベクトルを生成する。
【００３３】
状態認識機能部２２は、フレーム画像に撮像されている車両の特徴から状態ベクトルｓを認識してもよいし、当該車両についてすでに認識した状態ベクトルｓを用いて、今回のフレーム画像における状態ベクトルｓを認識してもよい。状態認識機能部２２が、この発明で言う状態認識部に相当する。
【００３４】
なお、状態認識機能部２２は、８次元ベクトルの各要素値の総和が１になるように、フレーム画像上における車両の状態ベクトルｓを生成してもよい。すなわち、状態認識機能部２２は、各要素値を対応する状態Ｓである確率として算出してもよい。
【００３５】
状態遷移予測機能部２３は、カメラ１０があるタイミングで撮像したフレーム画像における車両の状態Ｓ’を、状態認識機能部２２がそれ以前に撮像したフレーム画像を処理して生成した車両の状態ベクトルｓと、状態遷移パラメータ記憶部５に記憶している状態遷移パラメータＴと、を用いて予測する。具体的には、後述する同定機能部２４が、撮像されている車両を同定する２つのフレーム画像であって、先に撮像されたフレーム画像を処理して生成した車両の状態ベクトルｓと、状態遷移パラメータ記憶部５に記憶している状態遷移パラメータＴと、を用いて、後に撮像されたフレーム画像における車両の状態Ｓ’を予測する。
【００３６】
状態遷移予測機能部２３は、後に撮像されたフレーム画像における車両の各状態Ｓ１〜Ｓ８について、その確からしさの度合いｓ’を算出する。この例では、
ｓ’＝Ｒ・Ｔ・ｓ
により算出する。ここでＲは、状態遷移パラメータＴと同じ、ｎ行ｎ列の正方行列である。行列Ｒは、例えば、対角成分がその時点における車両の状態Ｓの確からしさの度合い（ａ１〜ａ８）であり、その他の成分が０である。
【００３７】
なお、状態遷移予測機能部２３は、行列Ｒを用いずに、
ｓ’＝Ｔ・ｓ
により算出する構成であってもよい。
【００３８】
上記式で算出されたｓ’は、８次元のベクトルである。状態遷移予測機能部２３は、上記式で算出したｓ’において、確からしさの度合いが最大である状態Ｓを、後に撮像されたフレーム画像における車両の状態Ｓ’であると予測する。状態遷移予測機能部２３が、この発明で言う状態遷移予測部に相当する。
【００３９】
同定機能部２４は、状態遷移予測機能部２３によって予測された車両の状態Ｓ’に応じて、フレーム間における車両の同定を行う。図３は、フレーム画像間での車両の同定を説明する図である。図３（Ａ）は、従来のフレーム画像間での車両の同定を示し、図３（Ｂ）は、この例にかかるフレーム画像間で車両の同定を示す。図３（Ａ）、（Ｂ）は、説明をわかりやすくするため、カメラ１０がタイミングｔ０、ｔ１、およびｔ２（時間の経過は、ｔ０、ｔ１、ｔ２の順番である。）で撮像したフレーム画像に撮像された同一車両（追跡している車両）を示している。車両は、図中に矢示する方向に移動している。
【００４０】
図３（Ａ）に示す従来の方式は、車両の移動ベクトルのみで追跡している車両を探索する探索領域５１、５２を決定する構成である。探索領域５１は、カメラ１０がタイミングｔ１で撮像したフレーム画像に対して追跡している車両を探索する領域であり、探索領域５２は、カメラ１０がタイミングｔ２で撮像したフレーム画像に対して追跡している車両を探索する領域である。図３（Ａ）に示すように、車両の向き（状態）が変化し、当該車両の走行方向が変化すると、カメラ１０がタイミングｔ２で撮像したフレーム画像では、追跡している車両が探索領域５２内に位置しない。このため、カメラ１０がタイミングｔ１で撮像したフレーム画像と、カメラ１０がタイミングｔ２で撮像したフレーム画像との間で、追跡している車両を同定することができず、追跡に失敗する。
【００４１】
この例にかかる画像処理装置１は、車両の移動ベクトルだけでなく、予測した車両の状態の遷移に基づいて、追跡している車両の探索領域６１、６２を決定する。探索領域６１は、カメラ１０がタイミングｔ１で撮像したフレーム画像に対して追跡している車両を探索する領域であり、探索領域６２は、カメラ１０がタイミングｔ２で撮像したフレーム画像に対して追跡している車両を探索する領域である。図３（Ｂ）に示すように、探索領域６２は、車両の向き（状態）が左向きに変化することを予測したことにより、図３（Ａ）に示した領域５２比べて、左側に広げている。このため、カメラ１０がタイミングｔ１で撮像したフレーム画像と、カメラ１０がタイミングｔ２で撮像したフレーム画像との間においても、車両を同定することができ、追跡に失敗するのを抑制できる。
【００４２】
また、同定機能部２４は、予測した車両の向き（状態）を考慮して、フレーム画像間で同定する。具体的には、同定機能部２４は、領域６２内に位置する車両であっても、予測した車両の向き、またはこの向きに隣接する向きでなければ、同定しない。これにより、フレーム画像間で、異なる車両を同定して、追跡に失敗するのを抑制できる。
【００４３】
また、同定機能部２４は、対象エリア内で追跡した車両について、フレーム間で同定した同定結果に基づきオブジェクトマップを作成する。図４は、同定機能部が生成するオブジェクトマップを示す図である。オブジェクトマップは、対象エリア内で追跡した車両毎に作成される。ＩＤは、追跡した車両に割り振ったＩＤである。図４に示すように、オブジェクトマップは、その車両が検出されたフレーム画像毎に、撮像時刻と、フレーム画像上（または実空間上）の位置と、車両の状態Ｓと、状態ベクトルｓと、を対応付けて登録したものである。
【００４４】
出力部４は、上述したように、同定機能部２４によって生成されたオブジェクトマップを上位装置に出力する。
【００４５】
以下、この例にかかる画像処理装置の動作について説明する。図５は、この例にかかる画像処理装置の動作を示すフローチャートである。画像処理装置１は、処理対象フレーム画像を選択する（ｓｔ１）。ｓｔ１では、画像入力部３に入力されたフレーム画像であって、直前に選択した処理対象フレーム画像からｎフレーム後（ｎは、１以上の整数）のフレーム画像を処理対象フレーム画像として選択する。すなわち、画像処理装置１は、カメラ１０が撮像し、画像入力部３に入力されたフレーム画像を順番に処理してもよいし、予め定めたフレーム間隔で抽出したフレーム画像のみを処理してもよい。
【００４６】
画像処理装置１は、オブジェクト検出機能部２１がｓｔ１で選択した処理対象フレーム画像に撮像されている車両を検出する車両検出処理を行う（ｓｔ２）。ｓｔ２では、上述したように、背景差分等の公知の手法で、処理対象フレーム画像に撮像されている車両を検出する。
【００４７】
画像処理装置１は、状態認識機能部２２がｓｔ２で検出した車両毎に、車両の状態ベクトルｓを認識する（ｓｔ３）。車両の状態ベクトルｓは、上述したように、この例では８次元のベクトルであり、車両が図２に示した状態Ｓｎ（ｎ＝１〜８）である確からしさの度合いの認識結果である。また、画像処理装置１は、状態遷移予測機能部２３が、状態認識機能部２２がｓｔ２で検出した車両について遷移する状態Ｓ’を予測する（ｓｔ４）。ｓｔ４では、次に選択する処理対象フレームにおける車両の状態Ｓ’を予測している。
【００４８】
画像処理装置１は、同定機能部２４が前回の処理対象フレーム画像に対する上述のｓｔ３、およびｓｔ４で認識した車両の状態Ｓと、予測した車両の状態Ｓ’とに基づいて、今回の処理対象フレーム画像に対する車両の探索領域を決定する（ｓｔ５）。同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じであるかどうかを判定する。同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じであれば、追跡している車両の移動ベクトルに基づいて探索領域を決定する。また、同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じでなければ、まず追跡している車両の移動ベクトルに基づいて探索領域を仮決定し、仮決定した探索領域を状態Ｓから状態Ｓ’の変化に応じた方向に広げた領域を探索領域に決定する。
【００４９】
画像処理装置１は、同定機能部２４が、追跡している車両を、前回の処理対象フレーム画像と、今回の処理対象フレーム画像との間で同定する同定処理を行い（ｓｔ６）、ｓｔ１に戻る。ｓｔ６では、追跡している車両を、今回の処理対象フレーム画像に撮像されている車両であって、ｓ５で決定した探索領域内に位置する車両と同定する。また、同定機能部２４が、追跡している車両を、ｓ５で決定した探索領域内に位置する車両であっても、前回の処理対象フレーム画像に対するｓｔ４で予測した車両の状態Ｓ’、またはこの予測した状態Ｓ’に隣接する状態でない車両については、同定しない。
【００５０】
したがって、この例にかかる画像処理装置１は、追跡対象である車両の状態（向き）の変化による影響を抑え、フレーム画像間での車両の同定精度の向上が図れる。
【００５１】
また、上記の例では、追跡対象であるオブジェクトが車両であるとしたが、追跡対象であるオブジェクトは、人であってもよいし、その他の移動体であってもよい。また、車両の向きを状態とし、その遷移を判断するとしたが、追跡対象であるオブジェクトが人である場合には、向きだけでなく、姿勢等も判断する状態に加えてもよい。
【００５２】
また、状態遷移パラメータＴは、ＡＩ（Artificial Intelligence）を用いて、更新する構成にしてもよい。
【符号の説明】
【００５３】
１…画像処理装置
２…制御部
３…画像入力部
４…出力部
５…状態遷移パラメータ記憶部
１０…カメラ
２１…オブジェクト検出機能部
２２…状態認識機能部
２３…状態遷移予測機能部
２４…同定機能部
５１、５２、６１、６２…探索領域
【図１】
2018147311.tif 000003
【図２】
2018147311.tif 000004
【図３】
2018147311.tif 000005
【図４】
2018147311.tif 000006
【図５】
2018147311.tif 000007