(57)【要約】【課題】対象の誤認識の発生を低減できる。【解決手段】対象認識装置は、認識対象を構成する点の軌道パタンの集合を規範パタンとして記憶する記憶手段と、画像上の点の軌道を取得する点軌道取得手段と、前記点軌道取得手段が取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化手段と、を含む。【選択図】      図１
2015049702.tif 000002
【特許請求の範囲】
【請求項１】
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段と、
画像上の点の軌道を取得する点軌道取得手段と、
前記点軌道取得手段が取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化手段と、
を含む対象認識装置。
【請求項２】
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記軌道パタン相関最適化手段は、前記領域面積比の類似度に基づき前記点軌道集合の選択を行う請求項１に記載の対象認識装置。
【請求項３】
前記規範パタンに含まれる前記軌道パタンは、当該軌道パタンに含まれる点軌道のペアの組合せにおける軌道同士の時空間座標における差分で構成される請求項１乃至２のいずれかに記載の対象認識装置。
【請求項４】
前記認識対象の存在する画像領域の候補を複数の時刻にわたり取得する検知系列取得手段をさらに備え、
前記軌道パタン相関最適化手段は、前記検知系列取得手段によって取得された同一の検知領域を前記点軌道が通過した回数に基づいて点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う請求項１乃至３のいずれかに記載の対象認識装置。
【請求項５】
前記点軌道取得手段から取得した複数の点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う点軌道集合推定手段をさらに備え、
前記軌道パタン相関最適化手段は、前記点軌道集合推定手段によって選択された点軌道集合と前記規範パタンとの類似性に基づき点軌道集合の選択を行い、選択された点軌道集合を前記画像上の認識対象として抽出する請求項１乃至４のいずれかに記載の対象認識装置。
【請求項６】
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段を備えるコンピュータに、
画像上の点の軌道を取得する点軌道取得ステップと、
取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化ステップと、
を実行させる対象認識プログラム。
【請求項７】
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記軌道パタン相関最適化ステップにおいて、前記領域面積比の類似度に基づき前記点軌道集合の選択を行う請求項６に記載の対象認識プログラム。
【請求項８】
前記規範パタンに含まれる前記軌道パタンは、当該軌道パタンに含まれる点軌道のペアの組合せにおける軌道同士の時空間座標における差分で構成される請求項６乃至７のいずれかに記載の対象認識プログラム。
【請求項９】
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶し、
画像上の点の軌道を取得し、
取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する対象認識方法。
【請求項１０】
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記領域面積比の類似度に基づき前記点軌道集合の選択を行う請求項９に記載の対象認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体等の対象認識技術に関する。
【背景技術】
【０００２】
カメラから取得された動画像系列から特定の物体を認識するための方法として、様々な計算機処理方法が提案されている。例えば、画像中から人物、車両、顔など特定のカテゴリの物体を検知する方法として、特許文献１、２に記載の方法がある。特許文献１記載の方法は、複数の移動軌跡をサブクラスに分類し、サブクラスの間で移動軌跡の共有割合を算出し、サブクラス間類似度を導出する。そして、同方法は、サブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類する。このように、同方法は、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定し、動画像中の移動体を検出することができる。また、特許文献２には、移動体の形状・大きさの変化、遮蔽の影響を受けずに、正しく領域を抽出することができる移動体検出方法の一例が記載されている。特許文献２には、領域分割候補選択において、移動軌跡間の測地距離の時間変化、または、領域間分割候補の領域間測地距離の時間変化を用いて、領域分割候補の選択を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５１０２４１０号
【特許文献２】再特ＷＯ２０１０/０７９５５６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
もっとも、上述の技術においては、車載カメラ画像のように、カメラ自体が動くことにより背景画像が常に変化するような条件においては、ノイズや背景物体画像の移動などにより、認識対象の誤認識（誤検知、検知漏れを含む）が発生しうる。
【課題を解決するための手段】
【０００５】
かかる目的を達成するため、本発明の一形態は、対象認識装置であって、認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段と、画像上の点の軌道を取得する点軌道取得手段と、前記点軌道取得手段が取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化手段と、を含む。
【０００６】
また、本発明は、認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段を備えるコンピュータに、画像上の点の軌道を取得する点軌道取得ステップと、取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化ステップと、を実行させる対象認識プログラムを提供する。
【０００７】
また、本発明は、認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶し、画像上の点の軌道を取得し、取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する対象認識方法を提供する。
【発明の効果】
【０００８】
本発明によれば、対象の誤認識の発生を低減できる。
【図面の簡単な説明】
【０００９】
【図１】移動物体認識システムの物理的構成の例を示す図である。
【図２】移動物体認識システムの機能部の構成の例を示す図である。
【図３】軌道相関パタン最適化部の規範パタンの学習の流れの例を示す図である。
【図４】軌道相関パタン最適化部において用いられるパタンの特徴量表現の例を示す図である。
【図５】軌道相関パタン最適化部における入力データからの特徴取得の流れの例を示す図である。
【図６】軌道相関パタン最適化部における効果の例を説明する図である。
【図７】移動物体認識システムの処理の流れの例を示す図である。
【図８】軌道相関パタンに基づく最適化の処理の流れの例を示す図である。
【図９】一般的な識別器による検知における問題を説明する図である。
【図１０】移動物体認識システムの構成の例を示す図である。
【図１１】移動物体認識システムの構成の例を示す図である。
【図１２】移動物体認識システムの構成の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。なお、以下の説明における装置等を構成する各部は、論理回路等のハードウェアで構成される。また、各部は、コンピュータの制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェース等からなり、ハードウェアとソフトウェアの任意の組合せによって実現されてもよい。また特に断りのない限り、その実現方法、装置は限定されない。
【００１１】
＜実施形態１＞
「構成」
図１は、本発明の実施形態にかかる移動物体認識システム１の構成例を示したブロック図である。図１を参照すると、移動物体認識システム１は、画像入力装置２０と、電子制御装置１０と、端末装置３０と、を備える。
【００１２】
画像入力装置２０は、画像情報を電子制御装置１０に入力する装置である。画像入力装置２０は、例えばカメラデバイス等の撮像装置である。カメラデバイスは、リアルタイムで画像を撮像する装置であり、撮影対象の画像を連続的に取得する。撮像装置は、例えば、ＮＴＳＣ（National Television Standards Committee）形式やＰＡＬ（Phase Alternating Line）形式を出力するビデオカメラ等である。なお、画像入力装置２０は、記憶媒体に保存された画像情報を読み出してＮＴＳＣ出力やＰＡＬ出力、その他電子制御装置１０が読み取ることのできる画像形式に変換して出力するような画像キャプチャ装置でもよい。この場合の画像入力装置２０は、電子制御装置１０のＣＰＵ（Central Processing Unit）１１内部で動作するソフトウェアプログラムとして実現することもできる。なお、画像入力装置２０は固定カメラに限定されず、移動カメラでもよい。本発明は、パンチルトカメラを用いた監視システム、車載カメラによるドライバー支援、移動ロボットの環境認識、等の幅広い用途に応用が可能である。
【００１３】
端末装置３０は、電子制御装置１０を操作し、電子制御装置１０の内部状態や出力をモニタリングするためのユーザインターフェースとして動作する。端末装置３０は、入力画像や、認識領域、登録されている認識対象のリストをユーザに示すシンボル等を提示するディスプレイ等である。また、端末装置３０は、画像認識の開始／終了、認識対象の指定、ディスプレイ提示情報の選択等、電子制御装置１０への指令を入力するための入力デバイス（例えば、スイッチボード、キーボード、マウス、タッチパネル等）である。
【００１４】
電子制御装置１０は、画像中の物体を認識するための情報処理を行うコンピュータである。電子制御装置１０は、画像入力装置２０から送られる画像情報に応じて、所定のプログラムに基づき、画像中の認識対象とした特定カテゴリに属する物体（歩行者、先行車両等）の領域を特定するための情報処理を行なう。
【００１５】
電子制御装置１０は、中央演算装置（ＣＰＵ）１１と、記憶装置（Ｍｅｍ）１２と、記憶装置（ＤＢ：database）１３と、インターフェース（Ｉ／Ｆ）１４、１５と、を有する。図１では記憶装置（Ｍｅｍ）１２と記憶装置（ＤＢ）１３とが分かれて記載されているが、これらは一つの記憶デバイスとして実現されてもよい。
【００１６】
インターフェース１４は、中央演算装置１１、記憶装置（Ｍｅｍ）１２、記憶装置（ＤＢ）１３、と画像入力装置２０との間の情報のやり取りを仲介する装置である。図１ではインターフェース１４は画像入力装置２０と中央演算装置１１とが接続されている。インターフェース１４は、記憶装置（Ｍｅｍ）１２、記憶装置（ＤＢ）１３と直接接続されてもよい。
【００１７】
インターフェース１５は、電子制御装置１０の内部で行なわれた情報処理の結果を外部に接続した端末装置３０に引き渡す場合、あるいは端末装置３０から入力される電子制御装置１０への指令入力を受け取る場合に情報の仲介装置としての役割を果たす。
【００１８】
記憶装置（Ｍｅｍ）１２は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。記憶装置（ＤＢ）１３は、主にデータベース（ＤＢ）を記憶する装置であり、中央演算装置１１と電気的に接続されている。なお、図１では、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３は、電子制御装置１０に内蔵されているが、
これらの装置は外部の記憶装置でもよい。
【００１９】
中央演算装置１１は、情報処理を行う装置である。中央演算装置１１はインターフェース１４、１５、記憶装置（Ｍｅｍ）１２、及び記憶装置（ＤＢ）１３と電気的に接続されている。中央演算装置１１は、画像入力装置２０からインターフェース１４を介して入力された画像情報に基づいて、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３に記憶された情報を参照しながら、対象となる物体等の画像領域を検知するための情報処理を行う。
【００２０】
ここで、検知とは、特定カテゴリに属する物体（歩行者、先行車両等）の領域を入力画像上でその他の領域と識別して特定することである。また、追跡とは、特定のカテゴリに属する物体等の同一個体の画像領域を時系列上で関連付けて取得することである。また、認識とは、データと意味を関連付けることである。具体的には、認識とは、アプリケーションが検知や追跡を目的とする対象と画像領域とを関連付けることである。認識には、対象の検知と追跡とが含まれる。
【００２１】
本実施の形態においては認識対象として主に歩行者が例となる。ただし、本発明は認識対象を歩行者に限定するものではない。本発明は、ある程度決められた典型的、周期的な一つまたは複数のパタンによる姿勢変化を伴いながら移動する多関節物体等の認識において有効な手法を提供する。
【００２２】
図２は、本実施の形態における移動物体認識システム１の全体構成の例を示したブロック図である。
【００２３】
電子制御装置１０は、中央演算装置１１においてソフトウェアプログラムを実行することで、図２の各種機能を実現する。電子制御装置１０において実現される各種機能は、個々の装置、又は機能部もしくは電子回路として実現されてもよい。
【００２４】
図２を参照すると、本実施の形態における電子制御装置１０は、検知系列取得部１０３と、点軌道取得部１０２と、軌道集合推定部１０４と、軌道パタン相関最適化部１０５とを有する。これらの機能はそれぞれ概略つぎのように動作する。
【００２５】
検知系列取得部１０３は、各時刻に受け取る入力画像に対し、認識対象となるカテゴリ（歩行者等）の画像領域の候補となる領域（Region of interest、ＲＯＩ、候補領域）（図３参照）を背景画像と識別する。そして、検知系列取得部１０３は、候補領域の位置、スケール、その確からしさを表す信頼度の数値を出力する。検知系列取得部１０３の実現方法としては一般的な統計的学習による識別器を用いる方法がある。例えば、特徴量としては、Ｈａａｒ−ｌｉｋｅ特徴、ＨｏＧ（Histograms of Oriented Gradients）特徴、などを用いた、ＳＶＭ（Support vector machine）、ＡｄａＢｏｏｓｔ（Adaptive Boosting）などの統計的識別器を用いることができる。
【００２６】
検知系列取得部１０３は、信頼度の数値に閾値（threshCandVal1）を設定することで閾値以上の信頼度を持つ領域のみを出力させることができる。また、検知系列取得部１０３は、出力される候補の最大個数を定めた閾値（maxCandNum）を超える候補が検知された場合には、maxCandNum以下に収まるように（threshCandVal1）より高い信頼度の閾値（threshCandVal2）を再設定することで、出力される最大の候補数を制限することができる。検知系列取得部１０３は、検知漏れを極力避けるため、図９の右端のようなＲＯＩの重複は許容し、計算資源の許す限り多数の候補を取得するようにthreshCandVal1を設定してもよい。
【００２７】
検知系列取得部１０３は、各時刻に受け取る入力画像に対し、逐次検知出力を取得し、保持している出力結果の系列に加えるようなリアルタイム識別器として動作してもよい。また、検知系列取得部１０３は、予め取得された検知系列を保持している記憶領域から、プログラムが定義する時間軸上の所定時刻を含めた過去のデータのみを他の機能部の要求に応じて提供するようなデータ出力装置として動作してもよい。検知系列取得部１０３は、プログラムが定義する時間軸上の所定時刻から過去にわたる出力結果を保持し、その結果の系列を任意に読み出すことができる。
【００２８】
点軌道取得部１０２は、画像上の点（ピクセル）の時空間上の軌道を画像系列から取得し、記憶し、任意に出力する機能部、もしくは予め保持された点軌道データを読み出すことを可能とする機能部である。なお、点とは、１つのピクセルに限らず、複数のピクセルをまとめた領域であってもよい。点は、例えば、画像空間上で認識対象の画像領域の中に１つ以上の点が含まれる程度の範囲において取得される。点軌道は、例えば、認識対象の画像領域で独立に動作する可能性のある部位毎に一つ以上の点軌道が取得されることが統計的に保証される程度の密度で取得される。
【００２９】
点軌道は、プログラムが定義する時間軸上の所定時刻（ｔ）における点pi（ｔ）(i=１、２、…、Ｍ：取得される点軌道の個数)の、過去（Ｔ）フレームにおける対応点の集合、tri={pi(tk)}、tk∈[ｔ-Ｔ、ｔ]、あるいは、対応点同士を結ぶベクトルの集合、tri={veci(tk)}、tk∈[ｔ-Ｔ-１、ｔ]として表現できる。具体的な点軌道の取得方法は、Optical flowをベースとする方法等である。
【００３０】
軌道集合推定部１０４は、所定時刻（ｔ）において取得可能な点軌道（tri、i=１、２、…、Ｎ）を、特定の認識対象と対応付ける。この際、軌道集合推定部１０４は、点軌道を集合ごとに分ける（セグメンテーションを行う）。例えば、軌道集合推定部１０４は、点軌道同士の空間的距離と軌道の幾何学的類似性による軌道類似性を基準として点軌道集合のセグメンテーションを行う。また、例えば、軌道集合推定部１０４は、取得された検知系列のうち同一の検知領域を点軌道が通過していることを条件に、軌道類似性の総和が最大になるように、点軌道同士を類似の軌道毎の点軌道集合としてセグメンテーションする。
【００３１】
例えば、点軌道全体の集合Ｓに含まれる二つの軌道{p、q}∈Ｓに対する軌道類似性をwpqと定義する。また、区間tk∈[t-T、t]において取得される同一の検知領域を点軌道が通過した回数を検知結果における検知信頼性で重み付けした総和で定義した検知軌道相関値をnpqと定義する。このとき、軌道の類似性を基準とする軌道集合の推定{S１、S2、…}は、下記の目的関数の和を最大化するような集合の選択の最適化によって求められる。ここで、wpq、npqは既知の手法で定義されるため詳述しない。
2015049702.tif 000003
（数式１）
【００３２】
ただし、λは重み係数であり、S1∪S2∪S3…⊂Ｓ、Si∩Sj=φ、i≠jである。具体的な実現方法として既知の手法を用いてもよい。
【００３３】
軌道パタン相関最適化部１０５は、軌道集合推定部１０４で取得された点軌道集合の最適化を実行する。すなわち、軌道パタン相関最適化部１０５は、同一の認識対象の領域に対応する点軌道であるにも関わらず、軌道の相対的な差異によって別々の集合として推定された点軌道集合同士の再統合を行う。例えば、軌道集合推定部１０４は、横方向に移動する歩行者の体幹部と脚部の相対運動が大きいような場合においては、両者の軌道が大きく異なるため、同一の認識対象である同一の歩行者の体幹部と脚部に対応する点軌道群をそれぞれ異なる集合としてセグメンテーションする（over segmentation）問題が生じる可能性がある。軌道パタン相関最適化部１０５は、この問題を解決する。
【００３４】
軌道パタン相関最適化部１０５は、あらかじめ記憶された認識対象の典型的動作における点軌道パタンの集合である規範パタンを用い、軌道集合推定部１０４で取得された軌道集合同士の組合せと規範パタンとの相関を計算する。相関最適化部１０５がこの相関の総和が最大となるような軌集合同士の組合せを選択することにより、認識対象に特有の動作パタンモデルに基づく認識対象領域の点軌道集合の推定が最適化される。これによって、軌道集合推定部１０４の段階では軌道の相違によって別の領域と誤って推定された同一認識対象領域全体が正しく認識される効果が期待できる。
【００３５】
軌道パタン相関最適化部１０５の具体的な動作を説明する。
【００３６】
（学習フェイズ）
軌道パタン相関最適化部１０５は、まず、予め認識対象の典型的動作における規範パタンを作成し、例えば記憶装置（ＤＢ）１３に記憶させる。例えば、図３を参照すると、軌道パタン相関最適化部１０５は、あるサンプル動作（Sample Motion 1）について点軌道を抽出し、認識対象の領域上の点軌道を軌道の類似性に基づき集合を生成（セグメンテーション）する。点軌道の抽出方法、および点軌道の軌道類似性に基づくセグメンテーションは軌道集合推定部１０４と同様の手法でよい。ただし、軌道パタン相関最適化部１０５は、検知系列による結果を必ずしも用いる必要はなく、既知の正解付けされた認識対象領域データがあればその結果を用いてもよい。
【００３７】
軌道パタン相関最適化部１０５は、それぞれ軌道の類似性に応じてセグメンテーションされた点軌道集合S１、S2、S3、…に対し、代表軌道（重心軌道など）を選別し、それぞれの軌道同士の相対値をサンプル動作１の規範パタンとして記憶装置（ＤＢ）１３に記憶させる。規範パタンの要素である相対値は、たとえば図４に示すように、２つの軌道（i、j）における(i→j)の相対値として、軌道同士の差分
2015049702.tif 000004
（数式２）
と、軌道集合の面積比
2015049702.tif 000005
（数式３）
を用いて、
2015049702.tif 000006
（数式４）
と定義できる。ただし、kは動作サンプルの種類のインデックス、[t-T、t]は軌道を取得した区間、pは軌道を生成する要素の点である。区間は、例えば、動作の一周期分を含むように設定される。これを用いて、動作kの規範パタンMPｋが定義される。
2015049702.tif 000007
（数式５）
ただし、Ｓは点軌道全体の集合、ind(S)は点軌道集合のサブセットのインデックスの全体である。軌道の相対関係を入れ替えた（i、j）要素と(j、i)要素は等価であるためどちらか一方が記憶されてもよい。両者は次式によって変換できる。
2015049702.tif 000008
（数式６）
【００３８】
（認識フェイズ）
次に学習された規範パタンを用いた認識を説明する。まず、軌道集合推定部１０４の処理により、入力画像から抽出された点軌道集合のセグメンテーションが実行される。図５では、点軌道がS１、S2、S3、S4の領域に対応付けられている。S１、S2、S3は同一の歩行者領域が３つに分割されてしまうことを示している。軌道パタン相関最適化部１０５は、それぞれの分割集合に対し、規範パタンの場合と同様に下記のようにテストパタンを定義できる。
2015049702.tif 000009
（数式７）
ここで、軌道の相対関係を入れ替えた（i、j）要素と(j、i)要素は等価であるため、軌道パタン相関最適化部１０５は、どちらか一方のみを取得し、規範パタンと比較する際に適宜変換して相関の高い方のみを排他的に選択できる。
【００３９】
テストパタンは規範パタンに対し、スケールと周期の自由度を持っている。よって、軌道パタン相関最適化部１０５は、テストパタンと規範パタンを対応付ける場合にはスケールパラメータα、および周期パラメータβを設定する。スケールパラメータαは軌道差分の値を拡大縮小するパラメータである。周期パラメータβは、照合に用いるテストパタンの区間を決定するパラメータである。選択された区間におけるデータは規範パタンの区間と時間方向の長さをそろえる正規化のために補間される。スケールパラメータαと周期パラメータβを含めたテストパタンの要素を例えば次のように定義する。
2015049702.tif 000010
（数式８）
これを用いて、テストパタンの(i、j)要素と規範パタンの(m、n)要素との類似性を示す相関は、例えば下記のように定義できる。
2015049702.tif 000011
（数式９）
この式は、あるスケールα、周期βが設定された上で、入力されたテストパタンの要素と動作kの規範パタンの一つの要素の類似性を０から１の間で評価する指標となっている。
【００４０】
類似性を測る基準は相対的軌道パタンの近さに加え、点軌道集合のペアの対応する画像領域の面積比の近さも考慮される。γ、δは、それぞれ相対軌道パタンと面積比の比較に対する重み係数である。
【００４１】
スケールαは、規範パタンのスケールを１とした場合に対するスケール比であり、無限の連続量でよい。ただし、現実的にはアプリケーションが認識対象としてとりうる最小サイズと最大サイズが規定されることでαの範囲は限定され、区間が量子化されることでαは離散量となる。
【００４２】
周期βは、規範パタンの周期を１とした場合の比であり、規範パタンの周期に対し、β倍速い（あるいは遅い）動作を同じ動作として許容することを示す。
【００４３】
kは規範パタンとして記憶されている動作の種類の個数であり、有限の自然数である。例えば、剛体運動（静止状態を含む、各部位が同じ軌道で運動する場合）、右歩行（カメラに対して右方向に歩いている）、左歩行（カメラに対して左方向に歩いている）、右走行（カメラに対して右方向に走っている）、左走行（カメラに対して左方向に走っている）等のアプリケーションが認識対象に想定する動作のパタンの個数によってkの値は決まる。
【００４４】
さらに、テストパタンにおける軌道同士が同一の検知領域を通過した回数をそれぞれの検知結果における検知信頼性で重み付けした総和で定義した検知軌道相関値をｎSijとし、重み係数をλSとし、目的関数を例えば下記のように定義する。
2015049702.tif 000012
（数式１０）
ただし、Ｓｅ’は軌道集合推定部１０４で推定された軌道集合｛Ｓp｝＝｛S１、S2、…｝からなる領域の集合の要素から任意に選択された部分集合である。｛i、j｝はＳｅ’によって決まるテストパタンの要素であり、α、β、k、m、nは、決められたＳｅ’のもとで目的関数を最大化するように決定される。軌道パタン相関最適化部１０５は、
2015049702.tif 000013
（数式１１）
を最大化するように、元の軌道集合Ｓから最適化された部分集合を再選択する。ただし、Ｘは｛Ｓｅ’｝の選択の組合せを表す。例えば、軌道集合推定部１０４で推定された軌道集合からなる領域が図６左で示すようにS１、S2、S3、S4であるとき、全体の部分集合の排他的な選択の組合せの一つとして、図６右で示すような組合せ
2015049702.tif 000014
（数式１２）
が存在する。Ｘはこのようにとりうる選択の組合せの一つを表す変数であり、Ｘがとりうる値は、部分集合の排他的な選択の組合せのすべての場合である。
【００４５】
なお、目的関数の定義は（数式１０）に限定されない。すなわち、目的関数の定義は、点軌道と認識対象領域の最適な対応付けを定量的に評価可能な定義でよい。例えば、目的関数の定義は、軌道集合推定部１０４における軌道同士の類似性と検知系列による基準を用いた点軌道と認識対象領域の最適な対応付けを定量的に評価可能な定義でもよい。例えば、目的関数の定義は、軌道パタン相関最適化部１０５における軌道集合同士の相対関係による予め学習されたパタンの類似性と検知系列による基準を用いた点軌道と認識対象領域の最適な対応付けを定量的に評価可能な定義でもよい。最適化の具体的な方法は、全数探索の他、各種の一般的な非線形最適化でよい。
【００４６】
（動作）
本実施の形態における移動物体認識システム１の動作について図面を参照して説明する。図７を参照すると、まず検知系列取得部１０３は、対象物体領域の候補となるＲＯＩを検出した結果の系列を取得する（Step１）。
【００４７】
次に、点軌道取得部１０２は、画像上の点の時空間上の軌跡である点軌道を取得する（Step２）。
【００４８】
次に、軌道集合推定部１０４は、上述のとおり、軌道類似性、検知軌道相関値をnpq等に基づき点軌道集合のセグメンテーションを実行する（Step３）。
【００４９】
次に、軌道パタン相関最適化部１０５は、予め記憶された規範パタンとの相関に基づく点軌道集合選択の再最適化を実行する（Step４）。
【００５０】
図８はステップStep４の内部における動作の一例を示したフローチャートである。図８を参照すると、まず、軌道パタン相関最適化部１０５は、取得された点軌道集合の中から組合せの再選択を行う（Step４０１）。軌道パタン相関最適化部１０５は、その選択において目的関数（数式１１）を計算する（Step４０２）。このとき、選択された組合せのそれぞれにおいて、目的関数が最大値を取るようにパラメータ（k、α、β）を調整する最適化計算が行われる。Step４０１及びStep４０２は繰り返し演算され、最後に目的関数を最大にする点軌道集合の組合せが決定される（Step４０３）。
【００５１】
例えば、図６のように軌道集合推定部１０４がS１、S2、S3、S4に点軌道集合を分割した場合で、S１、S2、S3は図３の規範パタンに対応する動作である場合を例とする。この場合、規範パタン１に対する目的関数において軌道集合の組を一組としてS１’={S１、S2、S3}と選択した場合に目的関数が最大化されることが期待できる。S4とその他の相対軌道は規範パタンに含まれるパタンと大きく異なるため、S4は単独のS2’={S4}として選択される場合に目的関数が最大化されることが期待できる。このような最適化による領域対応付けの再選択により、図６の右図のように対象領域の正しい認識が行われることが期待できる。
【００５２】
なお、上記では２つの軌道（i、j）における(i→j)の相対値として、軌道同士の差分を基に規範パタンを定義しているが、規範パタンは軌道の差分で定義する必要はなく、点軌道そのものの集合で定義されてもよい。
【００５３】
このように、本実施の形態における移動物体認識システム１は、点軌道の距離と類似性、および検知系列を用いた領域の認識対象への対応付けに対し、予め記憶された規範パタンに対する相関を加味した最適化による対応付けの再選択が行われる。これにより、運動の相対的な差異による対応付け間違いを抑制することで、認識対象全体の領域を正しく対応付けることが可能となる。
【００５４】
＜実施形態２＞
本実施の形態における移動物体認識システム１は、点軌道と、予め記憶された規範パタンとの相関の最適化によって認識対象領域の対応付けを実現するように構成される。本実施の形態における移動物体認識システム１は、点軌道取得部１０２、軌道パタン相関最適化部１０５を包含する（図１０参照）。第１の実施の形態と異なり、本実施の形態においては図２における軌道集合推定部１０４のように類似の軌道同士を予め集合として扱うステップは省略され、軌道パタンは直接任意の軌道同士の相対関係によって記述される。
【００５５】
ただし、領域面積は、任意の軌道が取得される際に適当な区分領域内の点軌道を平均化した代表軌道取得時の区分領域面積として取得され、代表軌道の取得ごとに区分領域面積が異なる場合には、（数式４）と同様の表現が採用可能である。代表軌道の取得時の面積がどの軌道でも一定の場合（代表軌道ではなく点軌道そのものが利用される場合を含む）には、領域面積比の値は省略できる。
【００５６】
軌道パタン相関最適化部１０５は、予め記憶させた規範パタンとの相関が最も高い点軌道の組合せを選択して認識対象領域に対応付ける最適化を行う。
【００５７】
このように、本実施の形態における物体認識システム１は、予め記憶させた規範パタンと点軌道との相関によって領域分割を最適化する。これにより、カメラ前を横切る歩行者のように体幹部に対し大きな相対運動を生じる脚部を含む領域を認識漏れすることなく歩行者全体の領域として対応付けることが可能となる。その結果、認識対象の動きによる見え方の変化に対しロバストに全身領域の認識を行うことが可能となる。
【００５８】
＜実施形態３＞
本実施の形態における移動物体認識システム１は、点軌道と、検知系列と、予め記憶された規範パタンとの相関の最適化によって認識対象領域の対応付けを実現するように構成される。本実施の形態における移動物体認識システム１には、第２の実施の形態に検知系列取得部１０３が追加される。すなわち、軌道パタン相関最適化部１０５は、予め記憶させた規範パタンとの相関に加え、検知系列における同一の検知矩形内を通過した点軌道同士の相関を加点するようにした目的関数の最適化による認識対象領域の対応付けを実行する（図１１参照）。
【００５９】
本実施の形態（図１１参照）の軌道パタン相関最適化部１０５は、軌道同士の類似性、検知系列との相関、および規範パタンとの類似性による３つの基準を用いて目的関数を定義し、認識領域の対応付けを最適化している。
【００６０】
本実施の形態によれば、点軌道の類似性、および検知系列を用いた領域の認識対象への対応付けに対し、予め記憶したパタンに対する相関を加味した最適化による対応付けが行われる。これにより、運動の相対的な差異による対応付け間違いを抑制することで、認識対象全体の領域を正しく対応付けることが可能となる。
【００６１】
＜実施形態４＞
本実施の形態における移動物体認識システム１は、点軌道取得部１０２と、軌道集合推定部１０４と、軌道パタン相関最適化部１０５を備える（図１２参照）。軌道集合推定部１０４は、点軌道を特定の認識対象と対応付ける。例えば、軌道集合推定部１０４は、点軌道同士の空間的距離と軌道の幾何学的類似性による軌道類似性を基準として点軌道集合のセグメンテーションを行う。本実施の形態は、検知系列取得部１０３が存在しないため、（数式１）の目的関数において右辺第２項が０となる場合に相当する。
【００６２】
このように、本実施の形態における移動物体認識システム１は、点軌道の類似性を用いた領域の認識対象への対応付けに対し、予め記憶された規範パタンに対する相関を加味した最適化による対応付けの再選択が行われる。これにより、運動の相対的な差異による対応付け間違いを抑制することで、認識対象全体の領域を正しく対応付けることが可能となる。
【００６３】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【００６４】
また、本発明の実施形態は以下のようにも記載されるが、以下の記載に限定されない。
【００６５】
（付記）
（付記１）
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段と、
画像上の点の軌道を取得する点軌道取得手段と、
前記点軌道取得手段が取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化手段と、
を含む対象認識装置。
【００６６】
（付記２）
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記軌道パタン相関最適化手段は、前記領域面積比の類似度に基づき前記点軌道集合の選択を行う付記１に記載の対象認識装置。
【００６７】
（付記３）
前記規範パタンに含まれる前記軌道パタンは、当該軌道パタンに含まれる点軌道のペアの組合せにおける軌道同士の時空間座標における差分で構成される付記１乃至２のいずれかに記載の対象認識装置。
【００６８】
（付記４）
前記認識対象の存在する画像領域の候補を複数の時刻にわたり取得する検知系列取得手段をさらに備え、
前記軌道パタン相関最適化手段は、前記検知系列取得手段によって取得された同一の検知領域を前記点軌道が通過した回数に基づいて点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う付記１乃至３のいずれかに記載の対象認識装置。
【００６９】
（付記５）
前記点軌道取得手段から取得した複数の点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う点軌道集合推定手段をさらに備え、
前記軌道パタン相関最適化手段は、前記点軌道集合推定手段によって選択された点軌道集合と前記規範パタンとの類似性に基づき点軌道集合の選択を行い、選択された点軌道集合を前記画像上の認識対象として抽出する付記１乃至４のいずれかに記載の対象認識装置。
【００７０】
（付記６）
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶する記憶手段を備えるコンピュータに、
画像上の点の軌道を取得する点軌道取得ステップと、
取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する軌道パタン相関最適化ステップと、
を実行させる対象認識プログラム。
【００７１】
（付記７）
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記軌道パタン相関最適化ステップにおいて、前記領域面積比の類似度に基づき前記点軌道集合の選択を行う付記６に記載の対象認識プログラム。
【００７２】
（付記８）
前記規範パタンに含まれる前記軌道パタンは、当該軌道パタンに含まれる点軌道のペアの組合せにおける軌道同士の時空間座標における差分で構成される請求項６乃至７のいずれかに記載の対象認識プログラム。
【００７３】
（付記９）
前記認識対象の存在する画像領域の候補を複数の時刻にわたり取得する検知系列取得ステップをさらに含み、
前記軌道パタン相関最適化ステップにおいて、前記検知系列取得ステップによって取得された同一の検知領域を前記点軌道が通過した回数に基づいて点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う付記６乃至８のいずれかに記載の対象認識プログラム。
【００７４】
（付記１０）
前記点軌道取得ステップにおいて取得した複数の点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う点軌道集合推定ステップをさらに含み、
前記軌道パタン相関最適化ステップにおいて、前記点軌道集合推定ステップによって選択された点軌道集合と前記規範パタンとの類似性に基づき点軌道集合の選択を行い、選択された点軌道集合を前記画像上の認識対象として抽出する付記６乃至９のいずれかに記載の対象認識プログラム。
【００７５】
（付記１１）
認識対象を構成する点の軌道パタンが属する集合の軌道を規範パタンとして記憶し、
画像上の点の軌道を取得し、
取得した点軌道と前記規範パタンとの類似性に基づき点軌道の集合を選択し、選択された点軌道集合を前記画像上の認識対象として抽出する対象認識方法。
【００７６】
（付記１２）
前記規範パタンは、前記軌道パタンが属する集合の領域面積比を含み、
前記領域面積比の類似度に基づき前記点軌道集合の選択を行う付記１１に記載の対象認識方法。
【００７７】
（付記１３）
前記規範パタンに含まれる前記軌道パタンは、当該軌道パタンに含まれる点軌道のペアの組合せにおける軌道同士の時空間座標における差分で構成される付記１１乃至１２のいずれかに記載の対象認識方法。
【００７８】
（付記１４）
前記認識対象の存在する画像領域の候補を複数の時刻にわたり取得し、
取得された同一の検知領域を前記点軌道が通過した回数に基づいて点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行う付記１１乃至１３のいずれかに記載の対象認識方法。
【００７９】
（付記１５）
取得した複数の点軌道同士の相関を計算し、当該相関に基づいて前記点軌道集合の選択を行い、
選択された点軌道集合と前記規範パタンとの類似性に基づき点軌道集合の選択を行い、選択された点軌道集合を前記画像上の認識対象として抽出する付記１１乃至１４のいずれかに記載の対象認識方法。
【符号の説明】
【００８０】
１      移動物体認識システム
１０      電子制御装置
１１      中央演算装置
１２      記憶装置（Ｍｅｍ）
１３      記憶装置（ＤＢ）
１４      インターフェース
１５      インターフェース
２０      画像入力装置
３０      端末装置
１０２    点軌道取得部
１０３    検知系列取得部
１０４    軌道集合推定部
１０５    軌道パタン相関最適化部
【図１】
2015049702.tif 000015
【図２】
2015049702.tif 000016
【図３】
2015049702.tif 000017
【図４】
2015049702.tif 000018
【図５】
2015049702.tif 000019
【図６】
2015049702.tif 000020
【図７】
2015049702.tif 000021
【図８】
2015049702.tif 000022
【図９】
2015049702.tif 000023
【図１０】
2015049702.tif 000024
【図１１】
2015049702.tif 000025
【図１２】
2015049702.tif 000026