(57)【要約】【課題】本発明は、映像処理のみで、混雑したシーンに含まれる人物の行動を判定できる人物行動判定装置を提供することを目的とする。【解決手段】人物行動判定装置１は、映像に含まれる１以上の人物領域を所定のフレーム間隔で機械学習により検出する人物領域検出手段１０と、人物領域毎に特徴量を算出すると共に、複数のフレーム画像において人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、同一人物の人物領域の重心位置を連結して人物軌跡を生成する人物軌跡生成手段２０と、人物軌跡毎に特徴量を算出すると共に、人物軌跡の特徴量が行動条件を満たすか否かを判定し、人物軌跡の特徴量が行動条件を満たすときは、人物が行動条件に対応する行動を行っていると判定する人物行動判定手段３０と、を備える。【選択図】図１
2011100175.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像が連続した映像が入力されると共に、前記映像に含まれる１以上の人物の行動を判定する人物行動判定装置であって、
前記映像に含まれる１以上の人物領域を所定のフレーム間隔で機械学習により検出する人物領域検出手段と、
前記人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、前記複数のフレーム画像において前記人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、前記同一人物の人物領域の重心位置を連結して人物軌跡を生成する人物軌跡生成手段と、
前記人物軌跡生成手段が生成した人物軌跡毎に特徴量を算出すると共に、当該人物軌跡の特徴量が予め設定された行動条件を満たすか否かを判定し、当該人物軌跡の特徴量が前記行動条件を満たすときは、前記人物が当該行動条件に対応する行動を行っていると判定する人物行動判定手段と、
を備えることを特徴とする人物行動判定装置。
【請求項２】
前記人物領域検出手段は、
同一の前記フレーム画像から検出された複数の前記人物領域について、互いの距離、色ヒストグラム分布の距離又はサイズの差分の何れか一つを代表特徴量として算出すると共に、当該代表特徴量が予め設定された閾値以下であるときに前記代表特徴量が類似すると判定し、前記代表特徴量が類似する人物領域の中で中央側に位置する一つの代表人物領域を前記人物領域として選択する代表人物領域選択部をさらに備えることを特徴とする請求項１に記載の人物行動判定装置。
【請求項３】
前記人物軌跡生成手段が生成した人物軌跡から、前記人物の予測領域を予測フィルタにより予測する人物予測部をさらに備え、
前記人物軌跡生成手段は、前記予測領域内に前記人物領域の前記重心位置が含まれる場合、前記人物軌跡を生成することを特徴とする請求項１又は請求項２に記載の人物行動判定装置。
【請求項４】
前記人物行動判定手段は、
前記人物軌跡の特徴量と前記人物の行動毎に予め設定された閾値との対応関係が予め設定された前記行動条件により、前記人物の行動を判定することを特徴とする請求項１から請求項３の何れか一項に記載の人物行動判定装置。
【請求項５】
前記人物行動判定手段は、予め設定された検証対象行動を前記人物が行っていると判定した場合、前記映像を逆方向に再生する指令である逆再生指令を出力し、
前記人物行動判定手段から逆再生指令が入力されると共に、当該逆再生指令に基づいて、前記映像を逆方向に再生して前記人物領域検出手段に出力する映像逆再生手段をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の人物行動判定装置。
【請求項６】
複数のフレーム画像が連続した映像が入力されると共に、前記映像に含まれる１以上の人物の行動を判定するために、コンピュータを、
前記映像に含まれる１以上の人物領域を所定のフレーム間隔で機械学習により検出する人物領域検出手段、
前記人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、前記複数のフレーム画像において前記人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、前記同一人物の人物領域の重心位置を連結して人物軌跡を生成する人物軌跡生成手段、
前記人物軌跡生成手段が生成した人物軌跡毎に特徴量を算出すると共に、当該人物軌跡の特徴量が予め設定された行動条件を満たすか否かを判定し、当該人物軌跡の特徴量が前記行動条件を満たすときは、前記人物が当該行動条件に対応する行動を行っていると判定する人物行動判定手段、
として機能させることを特徴とする人物行動判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に含まれる人物の行動を判定する技術に関する。
【背景技術】
【０００２】
映像解析による人物の動作認識は、例えば、人物行動の自動認識、個人認証、又は、動作をキーとした映像検索に活用できる有用な技術である。特に、防犯を目的とし、固定監視カメラの映像から人物の特定動作を自動検出する技術は、その需要が高い。例えば、エレベータや書店に設置した固定監視カメラの映像を自動的に解析し、人物の異常行動に対してアラームを発するシステムが開発されている。
【０００３】
ここで、映像解析による人物の動作認識は、モデルをベースにした技術と、特徴をベースにした技術とに大きく分類できる。
このモデルをベースした技術としては、例えば、人体の胴体、腕などの各パーツを幾何学的モデルとして表現し、それらの関節角などのパラメータで人物の姿勢を記述したものがある（特許文献１参照）。そして、このモデルをベースした技術は、人体の腕や足などのパーツの細やかな動作を解析することを主眼としている。
【０００４】
一方、特徴をベースにした技術としては、例えば、２次元動画像を処理対象として画像特徴量から人物領域を判定し、ジェスチャー認識、人物数カウント、移動方向の算出を行うものがある（特許文献２参照）。
また、この技術としては、例えば、人物位置の時系列データから移動ベクトルを求めて、速度や静止回数から人物の行動を認識するものがある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１４９０２５号公報
【特許文献２】特開平５−４６５８３号公報
【特許文献３】特開２００６−２２１３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、映像解析による人物の動作認識は、映像中から人物領域を切り出し、その人物の輪郭を正確に取得することが前提となる。このとき、従来技術では、背景が平坦で、一人から数人程度の人物が点在するシーンを対象としており、人物毎の領域の切り出しが困難となる、混雑したシーンを対象としたものではない。例えば、前記した特許文献１，２に記載の発明は、一人だけが含まれる映像を対象にしていると考えられる。
【０００７】
特許文献３に記載の発明は、比較的混雑したシーンを対象としているが、人物の位置測定にＲＦＩＤ（Radio Frequency IDentification）を用いており、必ずしも映像処理のみで人物の行動判定を行っておらず、装置の大規模化やコストアップにつながるという問題がある。
【０００８】
そこで、本発明は、映像処理のみで、混雑したシーンにおいても人物の行動を正確に判定できる人物行動判定装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願第１発明に係る人物行動判定装置は、複数のフレーム画像が連続した映像が入力されると共に、映像に含まれる１以上の人物の行動を判定する人物行動判定装置であって、人物領域検出手段と、人物軌跡生成手段と、人物行動判定手段と、を備えることを特徴とする。
【００１０】
かかる構成によれば、人物行動判定装置は、人物領域検出手段によって、映像に含まれる１以上の人物領域を所定のフレーム間隔で機械学習により検出する。また、人物行動判定装置は、人物軌跡生成手段によって、人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、複数のフレーム画像において人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、同一人物の人物領域の重心位置を連結して人物軌跡を生成する。つまり、人物行動判定装置は、例えば、連続する２枚のフレーム画像から検出する動きベクトルに比べ、より長い期間（例えば、３０フレーム）にわたって人物軌跡を生成する。
【００１１】
また、人物行動判定装置は、人物行動判定手段によって、人物軌跡生成手段が生成した人物軌跡毎に特徴量を算出すると共に、人物軌跡の特徴量が予め設定された行動条件を満たすか否かを判定し、人物軌跡の特徴量が行動条件を満たすときは、人物が行動条件に対応する行動を行っていると判定する。つまり、人物行動判定装置は、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて、人物の行動を判定する。
【００１２】
また、本願第２発明に係る人物行動判定装置は、人物領域検出手段が、同一の前記フレーム画像から検出された複数の人物領域について、互いの距離、色ヒストグラム分布の距離又はサイズの差分の何れか一つを代表特徴量として算出すると共に、代表特徴量が予め設定された閾値以下であるときに代表特徴量が類似すると判定し、代表特徴量が類似する人物領域の中で中央側に位置する一つの代表人物領域を人物領域として選択する代表人物領域選択部をさらに備えることを特徴とする。
【００１３】
ここで、同一のフレーム画像において、同一人物の周辺には類似した画像特徴が存在するため、ある人物の周辺には、複数の人物領域が検出される。また、同一のフレーム画像において、離れた位置にいる別の人物についても、その別の人物の周囲から複数の人物領域が検出される。
かかる構成によれば、人物行動判定装置は、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、それら人物領域の中で中央側に位置する人物領域を一つ選択する。
【００１４】
また、本願第３発明に係る人物行動判定装置は、人物軌跡生成手段が生成した人物軌跡から、人物の予測領域を予測フィルタにより予測する人物予測部をさらに備え、人物軌跡生成手段が、予測領域内に人物領域の重心位置が含まれる場合、人物軌跡を生成することを特徴とする。
かかる構成によれば、人物行動判定装置は、オクルージョンにより人物領域が誤検出された場合でも、誤検出された人物領域から人物軌跡を生成してしまう事態を防止できる。
【００１５】
また、本願第４発明に係る人物行動判定装置は、人物行動判定手段が、人物軌跡の特徴量と人物の行動毎に予め設定された閾値との対応関係が予め設定された行動条件により、人物の行動を判定することを特徴とする。
かかる構成によれば、人物行動判定装置は、簡易な閾値処理で人物の行動を判定できる。
【００１６】
また、本願第５発明に係る人物行動判定装置は、人物行動判定手段が、予め設定された検証対象行動を人物が行っていると判定した場合、映像を逆方向に再生する指令である逆再生指令を出力し、人物行動判定手段から逆再生指令が入力されると共に、逆再生指令に基づいて、映像を逆方向に再生して人物領域検出手段に出力する映像逆再生手段をさらに備えることを特徴とする。
かかる構成によれば、人物行動判定装置は、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
【００１７】
また、本願第６発明に係る人物行動判定プログラムは、複数のフレーム画像が連続した映像が入力されると共に、前記映像に含まれる１以上の人物の行動を判定するために、コンピュータを、人物領域検出手段、人物軌跡生成手段、人物行動判定手段、として機能させることを特徴とする。
【００１８】
かかる構成によれば、人物行動判定プログラムは、人物領域検出手段によって、映像に含まれる１以上の人物領域を所定のフレーム間隔で機械学習により検出する。また、人物行動判定プログラムは、人物軌跡生成手段によって、人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、複数のフレーム画像において人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、同一人物の人物領域の重心位置を連結して人物軌跡を生成する。つまり、人物行動判定プログラムは、例えば、連続する２枚のフレーム画像から検出する動きベクトルに比べ、より長い期間にわたって人物軌跡を生成する。
【００１９】
また、人物行動判定プログラムは、人物行動判定手段によって、人物軌跡生成手段が生成した人物軌跡毎に特徴量を算出すると共に、人物軌跡の特徴量が予め設定された行動条件を満たすか否かを判定し、人物軌跡の特徴量が行動条件を満たすときは、人物が行動条件に対応する行動を行っていると判定する。つまり、人物行動判定プログラムは、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて、人物の行動を判定する。
【発明の効果】
【００２０】
本発明によれば、以下のような優れた効果を奏する。
本願第１，６発明によれば、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて人物の行動を判定できるので、映像処理のみで、混雑したシーンにおいても人物の行動を正確に判定できる。従って、本願第１，５発明によれば、低コストで、正確な人物の行動判定技術を提供できる。
【００２１】
本願第２発明によれば、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、それら人物領域の中で中央側に位置する人物領域を一つ選択できる。従って、本願第２発明によれば、正確な人物軌跡を生成し、人物の行動をより正確に判定できる。
【００２２】
本願第３発明によれば、人物領域が誤検出された場合でも、誤検出された人物領域から人物軌跡を生成してしまう事態を防止できる。従って、本願第３発明によれば、正確な人物軌跡を生成し、人物の行動をより正確に判定できる。
【００２３】
本願第４発明によれば、簡易な閾値処理で人物の行動を判定できるので、処理の高速化を図ることができる。
本願第５発明によれば、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施形態に係る人物行動判定装置の全体構成を示すブロック図である。
【図２】図１の人物領域検出手段の構成を示すブロック図である。
【図３】図２の人物画像データベースに格納される訓練データを示す図であり、（ａ）は正例の画像の一例であり、（ｂ）は負例の画像の一例である。
【図４】本発明におけるＨＯＧ特徴量を説明する図であり、（ａ）は画像の一例であり、（ｂ）はセル及びブロックを説明する図であり、（ｃ）は輝度ヒストグラムを示す図である。
【図５】本発明における差分画像を説明する図であり、（ａ）は映像を示す図であり、（ｂ）は映像から生成した背景差分画像を示す図である。
【図６】図２の代表人物領域選択部による代表人物領域のクラスタリングを説明する図である。
【図７】図１の人物軌跡生成手段の構成を示すブロック図である。
【図８】本発明における色ヒストグラムの類似を説明する図であり、（ａ）は色ヒストグラムが類似しない例を示し、（ｂ）は色ヒストグラムが類似する例を示す。
【図９】本発明における人物軌跡を説明する図であり、（ａ）は人物領域の重心位置を示し、（ｂ）は重心位置を連結して生成した人物軌跡を示す。
【図１０】図７の人物予測部による予測を説明する図であり、（ａ）はオクルージョンが発生しない場合であり、（ｂ）はオクルージョンが発生する場合である。
【図１１】図１の人物行動判定手段の構成を示すブロック図である。
【図１２】図１１の人物軌跡特徴量正規化部を説明する図であり、（ａ）はブロック毎の平均動きベクトルを示し、（ｂ）はブロック毎の正規化係数を示す。
【図１３】図１の人物行動判定装置の全体動作を示すフローチャートである。
【図１４】図２の人物領域検出手段の動作を示すフローチャートである。
【図１５】図７の人物軌跡生成手段の動作を示すフローチャートである。
【図１６】図１１の人物行動判定手段の動作を示すフローチャートである。
【図１７】本発明の第２実施形態において、人物行動判定手段の構成を示すブロック図である。
【図１８】本発明の第３実施形態において、人物行動判定手段の構成を示すブロック図である。
【図１９】本発明の第３実施形態において、特徴空間を説明する図である。
【図２０】本発明の第４実施形態に係る人物行動判定装置の全体構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２６】
［人物行動判定装置の全体構成］
図１を参照して、本発明の第１実施形態に係る人物行動判定装置１の全体構成について説明する。図１に示すように、人物行動判定装置１は、映像に含まれる１以上の人物の行動を判定するものであり、人物領域検出手段１０と、人物軌跡生成手段２０と、人物行動判定手段３０とを備える。
【００２７】
人物行動判定装置１は、例えば、図示を省略した１台の撮影カメラで撮影された映像が入力される。ここで、撮影カメラは、例えば、イベント会場、エレベータ、書店、駅、空港等の混雑する場所に固定される。つまり、撮影カメラが撮影した映像は、２以上の人物が含まれる混雑したシーンとなることが多い。
【００２８】
人物領域検出手段１０は、フレーム間差分、背景差分等の差分が生じた変化領域において、ＨＯＧ（Histograms of Oriented Gradients）特徴量を算出し、サポートベクターマシン等の機械学習により、その変化領域が人物領域であるか否かの判定を行う。また、人物領域検出手段１０は、同一人物について複数の人物領域が検出された場合、クラスタリングを行い、一人に一つの人物領域を割り当てる。
【００２９】
人物軌跡生成手段２０は、人物領域検出手段１０で検出された人物領域を、距離や色ヒストグラムを考慮してマッチングする。そして、人物軌跡生成手段２０は、所定のフレーム数にわたって人物領域を追跡することで、人物軌跡を生成する。このとき、人物軌跡生成手段２０は、混雑したシーンでも頑健に追跡するために、予測フィルタを用いて人物位置を予測することとした。これによって、人物軌跡生成手段２０は、オクルージョンにより追跡ミスが生じた場合でも、人物領域の再出現時に追跡を再開することが可能となる。なお、オクルージョンは、例えば、撮影カメラから見て、奥側に位置する人物が手前側に位置する別の人物等の障害物に隠れてしまう状態を言う。
【００３０】
人物行動判定手段３０は、人物軌跡生成手段２０が生成した人物軌跡から、平均速度、追跡時間、移動方向等の人物軌跡の特徴量を算出する。そして、人物行動判定手段３０は、これら人物軌跡の特徴量から、「走る」、「人と会う」、「物を置く」等の人物の行動を判定する。例えば、「走る」ときはフレーム間移動量が大きく、「人と会う」ときは加速度が移動方向の反対側（負方向）に高くなる。
【００３１】
［人物領域検出手段の構成］
以下、図２を参照し、人物領域検出手段１０の構成について説明する。図２に示すように、人物領域検出手段１０は、人物画像データベース１１と、訓練データ特徴量算出部１２と、変化領域検出部１３と、変化領域特徴量算出部１４と、人物領域判定部１５と、代表人物領域選択部１６とを備える。
【００３２】
人物画像データベース１１は、事前に人物を切り出した正例の画像と人物以外の負例の画像とを、訓練データとして予め格納する。
ここで、人物領域の検出精度は、人物画像データベース１１の訓練データに左右される。このため、人物画像データベース１１に格納する正例の画像は、実際に撮影を行う撮影カメラの映像から切り出すことが好ましい。一方、人物画像データベース１１は、様々な映像から切り出した正例の画像と負例の画像とを、訓練データとして格納することで、人物行動判定装置１に汎用性を持たせることも可能である。
【００３３】
図３（ａ）に示すように、正例の画像は、様々な人種、姿勢、服装、年齢及び性別の人物を切り出した画像である。また、図３（ｂ）に示すように、負例の画像は、例えば、ファクシミリ、パーソナルコンピュータ、携帯電話端末等の電子機器、自動車、オートバイ等の移動手段、靴等の衣料品、及び、動物等の様々な人物以外の物を切り出した画像である。
【００３４】
訓練データ特徴量算出部１２は、人物画像データベース１１を参照し、人物画像データベース１１に格納された訓練データの特徴量をそれぞれ算出し、人物領域判定部１５に出力する。ここで、訓練データ特徴量算出部１２は、訓練データの特徴量として、ＨＯＧ特徴量を算出する。
【００３５】
＜ＨＯＧ特徴量＞
以下、図４を参照して、ＨＯＧ特徴量について説明する（適宜図２参照）。このＨＯＧ特徴量は、画像の局所領域（セル）での輝度の勾配方向をヒストグラム化したものである。この例では、図４（ｂ）に示すように、１セルは、例えば、縦方向に５ピクセル、及び、横方向に５ピクセルで構成される。また、１ブロックは、例えば、縦方向に３セル、及び、横方向に３セルで構成される。
【００３６】
まず、訓練データ特徴量算出部１２は、例えば、図４（ａ）の画像に含まれる全てのピクセルから、輝度の勾配強度及び輝度の勾配方向を求める。図４（ｂ）のセルでは、各ピクセルにおける輝度の勾配強度及び輝度の勾配強度を矢印で図示した。つまり、図４（ｂ）のセルにおいて、矢印の長さが輝度の勾配強度を示し、矢印の向きが輝度の勾配方向を示す。
【００３７】
次に、訓練データ特徴量算出部１２は、例えば、図４（ｃ）に示すように、セル毎に、輝度の勾配方向を０°〜１８０°の間で２０°間隔で９方向に区分けして、輝度のヒストグラムを生成する。つまり、このヒストグラムは、縦軸が輝度の勾配強度となり、横軸が輝度の勾配方向となる。
【００３８】
さらに、訓練データ特徴量算出部１２は、例えば、セル毎に生成したヒストグラムを、１ブロック単位で正規化する。ここで、訓練データ特徴量算出部１２は、例えば、正規化の対象となるブロックを１セルずつ移動させながら、全ブロックに対して正規化を行う。言い換えると、各セルは、異なるブロックで繰り返し正規化されることになる。
【００３９】
なお、訓練データ特徴量算出部１２は、ＨＯＧ特徴量を用いるとして説明したが、これに限定されない。例えば、訓練データ特徴量算出部１２は、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、エッジ特徴量等の任意の特徴量を用いることができる。
【００４０】
以下、図２に戻り、人物領域検出手段１０の構成について説明を続ける。
変化領域検出部１３は、撮影カメラから映像が入力されると共に、この映像で変化が有る変化領域を求める。具体的には、変化領域検出部１３は、例えば、映像から、３フレーム間隔で、フレーム間差分画像、背景差分画像等の差分画像を生成する。
【００４１】
例えば、図５（ａ）に示すように、入力された映像は、動いている人物Ｈ１〜Ｈ４と、転がっているボールＯｂ１と、背景とを含んでいるとする。この場合、変化領域検出部１３は、図５（ｂ）のような背景差分画像を生成する。この背景差分画像は、変化（動き）の無い部分（背景部分）が黒色になっており、変化（動き）が有る部分（人物Ｈ１〜Ｈ４、及び、ボールＯｂ１）が白色や灰色になっている。そして、変化領域検出部１３は、変化が有る部分として、人物Ｈ１〜Ｈ４の矩形領域やボールＯｂ１の矩形領域を、背景差分画像から検出する。さらに、図５（ａ）に示すように、変化領域検出部１３は、この変化の有る部分と同じ領域を入力された映像から求め、変化領域Ｒ１〜Ｒ５として変化領域特徴量算出部１４に出力する。
【００４２】
なお、変化領域検出部１３は、３フレーム間隔で差分画像を生成するとして説明したが、これに制限されない。例えば、変化領域検出部１３は、１フレーム間隔、２フレーム間隔、又は４以上のフレーム間隔で差分画像を生成できる。
【００４３】
以下、図２に戻り、人物領域検出手段１０の構成について説明を続ける。
変化領域特徴量算出部１４は、変化領域検出部１３から変化領域が入力されると共に、この変化領域の特徴量を算出する。このとき、変化領域特徴量算出部１４は、訓練データ特徴量算出部１２と同じ種類の特徴量（例えば、ＨＯＧ特徴量）を用いることが好ましい。
【００４４】
このように、変化領域特徴量算出部１４が、フレーム画像全体からＨＯＧ特徴量を算出する場合に比べ、変化領域だけからＨＯＧ特徴量を算出するので、処理の高速化を図ることができる。
【００４５】
なお、変化領域特徴量算出部１４は、ＨＯＧ特徴量を用いるとして説明したが、これに限定されない。例えば、変化領域特徴量算出部１４は、ＳＩＦＴ特徴量、エッジ特徴量等の任意の特徴量を用いることができる。
【００４６】
人物領域判定部１５は、訓練データ特徴量算出部１２から訓練データのＨＯＧ特徴量が入力されると共に、このＨＯＧ特徴量を用いて機械学習を行う。ここで、人物領域判定部１５は、教師ありの機械学習として、サポートベクターマシン（ＳＶＭ）を用いる。
【００４７】
サポートベクターマシンは、２クラス（例えば、人物のクラス、人物以外のクラス）を認識可能な機械学習である。具体的には、サポートベクターマシンは、訓練データとシナプス荷重との内積が閾値以上なら１を出力し、閾値未満なら−１を出力する識別関数を用いる。このとき、サポートベクターマシンは、訓練データの認識誤りを最小にするため、学習パラメータを、異なるクラスの訓練データの間際ではなく、各訓練データから余裕があるものとして学習する。つまり、サポートベクターマシンは、異なるクラスに属する訓練データ同士のマージンを求め、このマージンが最大となるように学習パラメータを学習する。なお、人物領域判定部１５は、サポートベクターマシンによる機械学習を、変化領域特徴量算出部１４から変化領域の特徴量が入力される前に行うことが好ましい。
【００４８】
その後、人物領域判定部１５は、変化領域特徴量算出部１４から変化領域のＨＯＧ特徴量が入力される。また、人物領域判定部１５は、機械学習した学習パラメータを用いて、変化領域のＨＯＧ特徴量が人物のクラスであるか否かを判定する。そして、人物領域判定部１５は、この変化領域のＨＯＧ特徴量が人物のクラスである場合、この変化領域が人物領域であると判定する。この場合、人物領域判定部１５は、この変化領域を人物領域として代表人物領域選択部１６に出力する。
【００４９】
一方、人物領域判定部１５は、この変化領域のＨＯＧ特徴量が人物以外のクラスである場合、この変化領域が人物領域でないと判定し、この変化領域を破棄する。なお、人物領域とは、映像において人物を含む矩形状の領域である。
【００５０】
なお、人物領域判定部１５がサポートベクターマシンによる機械学習を行うとして説明したが、これに限定されない。ここで、人物領域判定部１５は、２クラスを認識可能な機械学習、例えば、決定木又はニューラルネットワークを用いることができる。また、人物領域判定部１５が教師あり機械学習を行うとして説明したが、教師なし機械学習を行ってもよい。
【００５１】
以下、図２に戻り、人物領域検出手段１０の構成について説明を続ける。
ここで、人物行動判定装置１は、同一人物については、一つの人物領域のみを検出することが好ましい。しかし、同一のフレーム画像において、同一人物の周辺には類似した画像特徴が存在するため、ある人物の周辺には、複数の人物領域が検出される。また、同一のフレーム画像において、離れた位置にいる別の人物についても、複数の人物領域が検出される。このように、同一のフレーム画像において、同一人物の周囲から複数の人物領域を検出すると、人物行動判定装置１は、人物の行動の判定に不都合を生じてしまう。
【００５２】
このため、代表人物領域選択部１６は、人物領域判定部１５から人物領域が入力されると共に、一枚のフレーム画像において、同一人物に対しては一つの人物領域を選択する。
なお、複数の人物領域から同一人物の人物領域を集約し、集約した人物領域の中から一つの人物領域を選択する処理が、クラスタリングと呼ばれることがある。
【００５３】
以下、図６を参照し、代表人物領域選択部１６によるクラスタリングについて、第１例から第３例までを順に説明する。このとき、各例では、図６に示すように、人物Ｈ１について４個の人物領域Ｒ１〜Ｒ４が検出され、人物Ｈ２について３個の人物領域Ｒ５〜Ｒ７が検出され、人物Ｈ３について３個の人物領域Ｒ８〜Ｒ１０が検出されたこととする。
【００５４】
＜選択の第１例：色ヒストグラム＞
この第１例では、代表人物領域選択部１６は、代表人物領域を選択する基準となる代表特徴量として、色ヒストグラムを用いる。
【００５５】
代表人物領域選択部１６は、人物領域Ｒ１〜Ｒ１０のそれぞれについて、色ヒストグラム分布を算出する。また、代表人物領域選択部１６は、人物領域Ｒ１〜Ｒ１０の色ヒストグラム分布について、互いの距離を求める。このとき、同一人物であれば、それら色ヒストグラム分布は、類似すると考えられる。従って、代表人物領域選択部１６は、色ヒストグラム分布の距離が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。さらに、代表人物領域選択部１６は、同一人物の人物領域として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択する。
【００５６】
図６の例では、代表人物領域選択部１６は、人物Ｈ１に対応する人物領域Ｒ１〜Ｒ４と、人物Ｈ２に対応する人物領域Ｒ５〜Ｒ７と、人物Ｈ３に対応する人物領域Ｒ８〜Ｒ１０とに集約する。また、代表人物領域選択部１６は、人物領域Ｒ１〜Ｒ４の中から、中央側に位置する代表人物領域Ｒ３を、人物Ｈ１の人物領域として選択する。また、代表人物領域選択部１６は、人物領域Ｒ５〜Ｒ７の中から、中央側に位置する代表人物領域Ｒ６を、人物Ｈ２の人物領域として選択する。さらに、代表人物領域選択部１６は、人物領域Ｒ８〜Ｒ１０の中から、中央側に位置する代表人物領域Ｒ９を、人物Ｈ３の人物領域として選択する。その後、代表人物領域選択部１６は、選択した人物領域Ｒ３，Ｒ６，Ｒ９を、図２の人物軌跡生成手段２０に出力する。なお、図６では、代表人物領域Ｒ３，Ｒ６，Ｒ９を太線で図示した。
【００５７】
＜第２例：人物領域の距離＞
この第２例では、代表人物領域選択部１６は、代表人物領域を選択する基準となる代表特徴量として、人物領域の距離を用いる。
【００５８】
代表人物領域選択部１６は、例えば、入力された人物領域Ｒ１〜Ｒ１０において、人物領域の距離として、重心位置の距離を算出する。このとき、同一人物の人物領域Ｒ１〜Ｒ１０は、互いに近い位置で検出されると考えられる。従って、代表人物領域選択部１６は、人物領域Ｒ１〜Ｒ１０の距離が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。そして、代表人物領域選択部１６は、同一人物として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択し、出力する。
【００５９】
図６の例では、人物領域Ｒ１〜Ｒ４が近くに位置し、人物領域Ｒ５〜Ｒ７が近くに位置し、人物領域Ｒ８〜Ｒ１０が近くに位置する。従って、代表人物領域選択部１６は、人物Ｈ１に対応する人物領域Ｒ１〜Ｒ４と、人物Ｈ２に対応する人物領域Ｒ５〜Ｒ７と、人物Ｈ３に対応する人物領域Ｒ８〜Ｒ１０とに集約する。その後、代表人物領域選択部１６は、第１例と同様に人物領域Ｒ３，Ｒ６，Ｒ９を選択し、図２の人物軌跡生成手段２０に出力する。
【００６０】
＜第３例：人物領域のサイズ＞
この第３例では、代表人物領域選択部１６は、代表人物領域を選択する基準となる代表特徴量として、人物領域のサイズを用いる。
【００６１】
代表人物領域選択部１６は、入力された人物領域Ｒ１〜Ｒ１０のサイズ（例えば、人物領域の高さ又は幅）を算出する。このとき、同一人物の人物領域Ｒ１〜Ｒ１０は、互いに近いサイズで検出されると考えられる。従って、代表人物領域選択部１６は、人物領域Ｒ１〜Ｒ１０のサイズの差分が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。そして、代表人物領域選択部１６は、同一人物として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択し、出力する。
【００６２】
図６の例では、人物領域Ｒ１〜Ｒ４が近いサイズであり、人物領域Ｒ５〜Ｒ７が近いサイズであり、人物領域Ｒ８〜Ｒ１０が近いサイズである。従って、代表人物領域選択部１６は、人物Ｈ１に対応する人物領域Ｒ１〜Ｒ４と、人物Ｈ２に対応する人物領域Ｒ５〜Ｒ７と、人物Ｈ３に対応する人物領域Ｒ８〜Ｒ１０とに集約する。その後、代表人物領域選択部１６は、第１例と同様に人物領域Ｒ３，Ｒ６，Ｒ９を選択し、図２の人物軌跡生成手段２０に出力する。
【００６３】
このように、代表人物領域選択部１６は、第１例から第３例の何れかを用いて、同一のフレーム画像において、一人の人物に一つの人物領域を割り当てることができる。例えば、オペレータが、第１例から第３例の何れかを用いるか、予め設定する。なお、代表人物領域選択部１６は、人物領域が一つだけ入力された場合、クラスタリングを行わずに、その人物領域を人物軌跡生成手段２０に出力することが好ましい。
【００６４】
［人物軌跡生成手段の構成］
以下、図７を参照し、人物軌跡生成手段２０の構成について、説明する。
人物軌跡生成手段２０は、図７に示すように、人物領域特徴量算出部２１と、特徴量データベース２２と、人物領域特徴量照合部２３と、人物軌跡生成部２４と、人物予測部２５とを備える。
【００６５】
人物領域特徴量算出部２１は、人物領域検出手段１０（図２参照）から人物領域が入力されると共に、この人物領域の特徴量を算出する。そして、人物領域特徴量算出部２１は、算出した人物領域の特徴量を、処理対象のフレーム画像（現在のフレーム画像）における人物領域の特徴量として、人物領域特徴量照合部２３に出力する。また、このとき、人物領域特徴量算出部２１は、この人物領域の特徴量を、後記する特徴量データベース２２に登録する。
【００６６】
ここで、人物領域特徴量算出部２１は、ＨＯＧ特徴量、色ヒストグラム又は人物位置の何れかを、人物領域の特徴量として算出してもよい。ここで、人物領域特徴量算出部２１は、人物領域の特徴量として人物位置を用いる場合、例えば、人物領域の重心位置を人物位置とする。
また、人物領域特徴量算出部２１は、ＨＯＧ特徴量と色ヒストグラムとの組み合わせ、ＨＯＧ特徴量と人物位置との組み合わせ、又は、色ヒストグラムと人物位置との組み合わせの何れかを、人物領域の特徴量として算出してもよい。
さらに、人物領域特徴量算出部２１は、ＨＯＧ特徴量と色ヒストグラムと人物位置との組み合わせを、人物領域の特徴量として算出してもよい。
なお、オペレータが、人物領域の特徴量として、人物行動判定装置１でどれを用いるのか、予め設定する。
【００６７】
特徴量データベース２２は、人物領域特徴量算出部２１で算出された人物領域の特徴量を格納する。言い換えると、特徴量データベース２２は、過去のフレーム画像で検出された人物領域について、その特徴量を格納する。
【００６８】
人物領域特徴量照合部２３は、特徴量データベース２２を参照し、過去のフレーム画像における人物領域の特徴量を読み出す。また、人物領域特徴量照合部２３は、人物領域特徴量算出部２１から、処理対象のフレーム画像における人物領域の特徴量が入力される。さらに、人物領域特徴量照合部２３は、後記する人物予測部２５から人物の予測位置と予測領域とが入力される。
【００６９】
そして、人物領域特徴量照合部２３は、処理対象のフレーム画像における人物領域の特徴量と、過去のフレーム画像における人物領域の特徴量とを照合し、これら人物領域の特徴量が類似しているか否かを判定する。以下、人物領域特徴量照合部２３による人物領域の特徴量の照合について、第１例から第５例までを順に説明する。
【００７０】
＜第１例：色ヒストグラム＞
以下、図８を参照し、人物領域特徴量照合部２３による人物領域の特徴量の照合の第１例について、説明する（適宜図７参照）。この第１例では、人物領域特徴量照合部２３は、人物領域の特徴量として、色ヒストグラムを用いる。
【００７１】
図８では、左側の色ヒストグラムが、処理対象のフレーム画像における人物領域の色ヒストグラムである。また、図８では、右側の色ヒストグラムが、過去のフレーム画像における人物領域の色ヒストグラムである。なお、図８では、色ヒストグラムとして赤−青色領域を図示したが、本発明では、色ヒストグラムに他の色を含めてもよい。
【００７２】
別の人物の場合、図８（ａ）に示すように、処理対象のフレーム画像における人物領域の色ヒストグラムと、過去のフレーム画像における人物領域の色ヒストグラムとは、大きく異なる。一方、同一人物の場合、図８（ｂ）に示すように、処理対象のフレーム画像における人物領域の色ヒストグラムと、過去のフレーム画像における人物領域の色ヒストグラムとは、類似する。
【００７３】
従って、人物領域特徴量照合部２３は、下記の式（１）により、処理対象のフレーム画像における人物領域の色ヒストグラムの分布ｐと、過去のフレーム画像における人物領域の色ヒストグラムの分布ｑとの間の距離ＢＣ（ｐ，ｑ）を求める。そして、人物領域特徴量照合部２３は、式（１）で算出した距離ＢＣ（ｐ，ｑ）が、予め設定した閾値以下の場合、色ヒストグラムが類似すると判定する。一方、人物領域特徴量照合部２３は、この距離ＢＣ（ｐ，ｑ）が、予め設定した閾値を超えれば、色ヒストグラムが類似しないと判定する。ここでは、人物領域特徴量照合部２３は、距離ＢＣ（ｐ，ｑ）として、Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いる。
【００７４】
【数１】
2011100175.tif 000003
【００７５】
また、人物領域特徴量照合部２３は、人物領域を一意に識別する人物領域ＩＤを格納した人物領域ＩＤリストを有する。そして、人物領域特徴量照合部２３は、人物領域ＩＤリストを参照し、色ヒストグラムが類似する場合（同一人物の場合）、過去のフレーム画像でその人物領域に付与した人物領域ＩＤを、処理対象のフレーム画像で検出された人物領域に付与する。つまり、同一人物の人物領域は、過去のフレーム画像と処理対象のフレーム画像との間で、同一の人物領域ＩＤを有する。
【００７６】
一方、色ヒストグラムが類似しない場合（別の人物の場合）、人物領域特徴量照合部２３は、人物領域ＩＤリストに登録されていない新たな人物領域ＩＤを、処理対象のフレーム画像で検出された人物領域に付与する。この場合、人物領域特徴量照合部２３は、新たに付与した人物領域ＩＤを人物領域ＩＤリストに登録する。その後、人物領域特徴量照合部２３は、人物領域ＩＤが付与された人物領域を人物軌跡生成部２４に出力する。
【００７７】
＜第２例：人物位置＞
以下、人物領域特徴量照合部２３による人物領域の特徴量の照合の第２例について、説明する。この第２例では、人物領域特徴量照合部２３は、人物領域の特徴量として、人物位置を用いる。
【００７８】
人物領域特徴量照合部２３は、処理対象のフレーム画像における人物位置と、過去のフレーム画像を用いて予測した人物位置との距離を求める。ここで、処理対象のフレーム画像における人物位置は、人物領域特徴量算出部２１から入力される人物位置である。また、過去のフレーム画像を用いて予測した人物位置は、人物予測部２５から入力される予測位置である。
【００７９】
そして、人物領域特徴量照合部２３は、この距離が予め設定した閾値以内であれば、人物位置が類似すると判定する。一方、人物領域特徴量照合部２３は、この距離が予め設定した閾値を超えれば、人物位置が類似しないと判定する。その後、人物領域特徴量照合部２３は、前記した第１例と同様に、人物領域ＩＤリストを参照して、人物領域に人物領域ＩＤを付与し、人物軌跡生成部２４に出力する。
【００８０】
このとき、人物領域特徴量照合部２３は、処理対象のフレーム画像における人物位置が、予測領域内に含まれる場合だけ、人物領域を人物軌跡生成部２４に出力することが好ましい。言い換えると、人物領域特徴量照合部２３は、処理対象のフレーム画像における人物位置が、予測領域内に含まれない場合、人物領域の誤検出として照合処理をスキップする。これによって、人物行動判定装置１は、誤検出した人物領域から、人物軌跡を生成してしまう事態を防止できる。
【００８１】
＜第３例：ＨＯＧ特徴量＞
以下、人物領域特徴量照合部２３による人物領域の特徴量の照合の第３例について、説明する。この第３例では、人物領域特徴量照合部２３は、人物領域の特徴量として、ＨＯＧ特徴量を用いる。
【００８２】
人物領域特徴量照合部２３は、処理対象のフレーム画像におけるＨＯＧ特徴量と、過去のフレーム画像におけるＨＯＧ特徴量との距離を、ＨＯＧ特徴量の次元毎に算出する。そして、人物領域特徴量照合部２３は、この次元毎の距離の総和を算出し、算出した総和が予め設定した閾値以下であれば、ＨＯＧ特徴量が類似すると判定する。一方、人物領域特徴量照合部２３は、この総和が予め設定した閾値を超えれば、ＨＯＧ特徴量が類似しないと判定する。その後、人物領域特徴量照合部２３は、前記した第１例と同様に、人物領域ＩＤリストを参照して、人物領域毎に人物領域ＩＤを付与し、人物軌跡生成部２４に出力する。
【００８３】
＜第４例：類似度＞
以下、人物領域特徴量照合部２３による人物領域の特徴量の照合の第４例について、説明する。この第４例では、人物領域特徴量照合部２３は、人物領域の特徴量として、色ヒストグラムと、人物位置と、ＨＯＧ特徴量とを組み合わせた類似度を用いる。
【００８４】
この場合、人物領域特徴量照合部２３は、人物位置と、色ヒストグラムと、ＨＯＧ特徴量とにそれぞれ重みを乗算し、これらを加算して類似度を算出する。そして、人物領域特徴量照合部２３は、算出した類似度が予め設定した閾値以下であれば、類似すると判定する。一方、人物領域特徴量照合部２３は、この類似度が予め設定した閾値を超えれば、類似しないと判定する。その後、人物領域特徴量照合部２３は、前記した第１例と同様に、人物領域ＩＤリストを参照して、人物領域毎に人物領域ＩＤを付与し、人物軌跡生成部２４に出力する。
【００８５】
具体的に、人物領域特徴量照合部２３は、下記の式（２）を用いて、類似度を算出する。なお、人物位置、色ヒストグラム及びＨＯＧ特徴量は、前記した第１例〜第３例と同様に算出できるので、説明を省略する。
【００８６】
【数２】
2011100175.tif 000004
【００８７】
なお、式（２）では、Ｓｉｍが類似度であり、αが人物位置の重みであり、Ｌｏｃが人物位置である。また、式（２）では、βが色ヒストグラムの重みであり、Ｈｉｓが色ヒストグラムである。さらに、式（２）では、γがＨＯＧ特徴量の重みであり、ＨｏｇがＨＯＧ特徴量である。
【００８８】
また、式（２）では、３個の重みα，β，γは、予め設定される。さらに、式（２）では、人物位置、色ヒストグラム及びＨＯＧ特徴量のうち、類似度の算出に用いないものは、その重みをゼロに設定する。
【００８９】
ここで、人物位置、色ヒストグラム及びＨＯＧ特徴量は、単位が異なることから、標準化される。具体的には、人物領域特徴量照合部２３は、各特徴量（人物位置、色ヒストグラム及びＨＯＧ特徴量）について、平均をゼロとし、分散を１とするように、下記の式（３）により、標準化を行う。これによって、人物領域特徴量照合部２３は、単位の相違による影響を排除できる。なお、式（３）では、Ｘが元の特徴量、μがＸの平均、σがＸの分散、Ｚが標準化された特徴量を表す。
【００９０】
【数３】
2011100175.tif 000005
【００９１】
＜第５例：閾値判定の組み合わせ＞
以下、人物領域特徴量照合部２３による人物領域の特徴量の照合の第５例について、説明する。この第５例では、人物領域特徴量照合部２３は、第１例の色ヒストグラムと、第２例の人物位置と、第３例のＨＯＧ特徴量とをそれぞれ算出する。そして、人物領域特徴量照合部２３は、色ヒストグラムと人物位置とＨＯＧ特徴量との何れか一つでも、それぞれの閾値を超えた場合、類似しないと判定する。一方、人物領域特徴量照合部２３は、色ヒストグラムと、人物位置と、ＨＯＧ特徴量との全てが、それぞれの閾値以下の場合、類似すると判定する。その後、人物領域特徴量照合部２３は、前記した第１例と同様に、人物領域ＩＤリストを参照して、人物領域毎に人物領域ＩＤを付与し、人物軌跡生成部２４に出力する。
【００９２】
このように、人物領域特徴量照合部２３は、第１例から第５例までの何れか一つを用いて、代表人物領域を選択できる。この場合、例えば、オペレータが、第１例から第５例の何れかを用いるか予め設定する。
【００９３】
図７に戻り、人物軌跡生成手段２０の構成について説明を続ける。
人物軌跡生成部２４は、人物領域特徴量照合部２３から人物領域ＩＤが付与された人物領域が入力される。そして、人物軌跡生成部２４は、過去のフレーム画像と処理対象のフレーム画像との間で、人物領域の重心位置を求め、同一の人物領域ＩＤが付与された人物領域の重心位置を連結して人物軌跡を生成する。
【００９４】
以下、図９を参照し、人物軌跡の詳細について説明する（適宜図７参照）。図９では、♯１〜♯９がフレーム画像の番号を古い順に示しており、＃１が最も過去のフレーム画像に対応し、＃９が処理対象のフレーム画像（現在のフレーム画像）に対応する。また、符号Ｒ１〜Ｒ９が、それぞれのフレーム画像で検出された同一人物の人物領域を示す。さらに、符号Ｐ１〜Ｐ９が、人物領域Ｒ１〜Ｒ９の重心位置を示す。なお、図９では、説明を簡易にするため、一部符号のみを図示した。また、図９（ｂ）の破線については、後記する。
【００９５】
図９（ａ）に示すように、人物軌跡生成部２４は、過去のフレーム画像（♯１〜♯８）で検出された人物領域Ｒ１〜Ｒ８について、それぞれの重心位置Ｐ１〜Ｐ８を求める。また、人物軌跡生成部２４は、処理対象のフレーム画像（＃９）で検出された人物領域Ｒ９から、その重心位置Ｐ９を求める。そして、人物軌跡生成部２４は、これら重心位置Ｐ１〜Ｐ９を連結し、図９（ｂ）に示すような人物軌跡を生成する。その後、人物軌跡生成部２４は、この人物軌跡を人物予測部２５と人物行動判定手段３０（図１１参照）とに出力する。
【００９６】
ここで、人物軌跡は、隣接する重心位置Ｐ１〜Ｐ２・・・Ｐ８〜Ｐ９を結んだ線分のそれぞれが、その人物の動きベクトルに相当する。図９（ｂ）の例では、人物軌跡には、８個の人物軌跡動きベクトルＶ１〜Ｖ８が含まれる。以下、人物軌跡に含まれる動きベクトルを人物軌跡動きベクトルと略記する。
【００９７】
なお、図９では、一人分の人物軌跡を図示したが、映像に複数の人物が含まれる場合、人物軌跡生成部２４は、人物毎に人物軌跡を生成することが好ましい。
また、人物軌跡生成部２４は、ある人物の人物領域を最初に検出してから、予め設定されたフレーム数（例えば、３０フレーム）を超えたときに、その人物について、人物軌跡の生成を終了してもよい。
また、人物軌跡生成部２４は、ある人物の人物領域を最初に検出した場合、人物軌跡の代わりに人物領域の重心位置を人物の現在位置として人物予測部２５に出力する。
【００９８】
以下、図１０を参照し、人物予測部２５の詳細について説明する（適宜図７参照）。なお、図１０では、人物の予測位置を符号Ｙｂで図示した。
人物予測部２５は、人物軌跡生成部２４から人物軌跡が入力されると共に、この人物軌跡から、人物の予測領域Ｙａ及び予測位置Ｙｂを予測フィルタにより予測する。ここで、人物予測部２５は、カルマンフィルタ、パーティクルフィルタ等の予測フィルタを用いる。
【００９９】
カルマンフィルタは、複数の観測位置（図９の重心位置Ｐ１〜Ｐ９）から、予測領域Ｙａ及び予測位置Ｙｂを予測する。具体的には、カルマンフィルタは、予測位置Ｙｂと観測位置との誤差からカルマンゲインを算出し、その大きさに従って、補正量を調整する。また、カルマンフィルタにおいて、誤差共分散は、誤差量に加えて、各フレーム画像での人物領域の検出状況に応じて変化する。
【０１００】
図１０（ａ）に示すように、カルマンフィルタは、人物領域の検出が成功した場合、予測領域Ｙａを縮小する。一方、図１０（ｂ）に示すように、カルマンフィルタは、誤差量が大きい場合や人物領域の検出が不安定な場合、予測領域Ｙａを拡大する。そして、人物予測部２５は、カルマンフィルタで予測した予測領域Ｙａ及び予測位置Ｙｂを人物領域特徴量照合部２３に出力する。
【０１０１】
このように、カルマンフィルタは、オクルージョンにより人物領域の検出に失敗した場合でも、事前に指定した運動モデルに従って、予測位置及び予測領域を更新できる。このため、人物行動判定装置１は、オクルージョンを越えた時点で同一人物の人物領域を再検出でき、信頼性が向上する。
【０１０２】
なお、人物予測部２５は、人物軌跡生成部２４から人物の現在位置が入力された場合、予測領域Ｙａ及び予測位置Ｙｂを予測できない。このため、人物予測部２５は、この現在位置を予測位置Ｙｂとして、人物領域特徴量照合部２３に出力する。
【０１０３】
［人物行動判定手段の構成］
以下、図１１を参照し、人物行動判定手段３０の構成について、説明する。
人物行動判定手段３０は、図１１に示すように、人物軌跡特徴量算出部３１と、人物軌跡特徴量正規化部３２と、行動判定部３３とを備える。
【０１０４】
人物軌跡特徴量算出部３１は、人物軌跡生成手段２０から人物軌跡が入力されると共に、それぞれの人物軌跡毎に特徴量を算出する。ここで、人物軌跡特徴量算出部３１は、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量として、人物軌跡の特徴量を算出する。
【０１０５】
図９に戻り、人物軌跡の特徴量の算出の具体例について、説明する（適宜図１１参照）。このとき、人物軌跡特徴量算出部３１には、図９（ｂ）の人物軌跡が入力されたこととする。
【０１０６】
＜第１例：追跡時間＞
人物軌跡特徴量算出部３１は、下記の式（４）より、追跡時間を算出できる。
【０１０７】
追跡時間＝１／フレームレート×フレーム間隔×重心位置の数・・・式（４）
【０１０８】
例えば、人物軌跡に９個の重心位置Ｐ１〜Ｐ９が含まれ、映像のフレームレートが３０であり、３フレーム間隔で人物領域を検出した場合を考える。この場合、人物軌跡特徴量算出部３１は、式（５）に示すように、追跡時間０．９秒を算出する。
【０１０９】
０．９＝１／３０×３×９・・・式（５）
【０１１０】
＜第２例：初回検出位置＞
人物軌跡特徴量算出部３１は、最も古いフレーム画像＃１における重心位置Ｐ１を初回検出位置として算出する。
【０１１１】
＜第３例：現在検出位置＞
人物軌跡特徴量算出部３１は、処理対象のフレーム画像＃９における重心位置Ｐ９を現在検出位置として算出する。
【０１１２】
＜第４例：移動方向＞
人物軌跡特徴量算出部３１は、全ての人物軌跡動きベクトルＶ１〜Ｖ８の向きを平均して、移動方向を算出する。
【０１１３】
＜第５例：移動距離＞
人物軌跡特徴量算出部３１は、初回検出位置（重心位置Ｐ１）から現在検出位置（Ｐ９）までを順番に結んだ線の長さを合計し、移動距離を算出する。
【０１１４】
＜第６例：平均速度＞
人物軌跡特徴量算出部３１は、全ての人物軌跡動きベクトルＶ１〜Ｖ８の大きさを平均し、平均速度を算出する。
【０１１５】
＜第７例：平均加速度＞
人物軌跡特徴量算出部３１は、個々のフレーム＃１〜＃９について、隣接する人物軌跡動きベクトルＶ１〜Ｖ８の差分を求める。例えば、人物軌跡特徴量算出部３１は、フレーム＃４の加速度として、人物軌跡動きベクトルＶ５と人物軌跡動きベクトルＶ４との差分を求める。そして、人物軌跡特徴量算出部３１は、全てのフレーム＃１〜＃９の加速度を平均する。
【０１１６】
＜第８例：直線性＞
人物軌跡特徴量算出部３１は、初回検出位置（重心位置Ｐ１）から現在検出位置（Ｐ９）までを結ぶ近似直線を求める。そして、人物軌跡特徴量算出部３１は、初回検出位置及び現在検出位置以外の各検出位置（重心位置Ｐ２〜Ｐ８）から、近似直線までの法線を求める。さらに、人物軌跡特徴量算出部３１は、全ての法線の長さの平均値を算出し、この平均値を直線性とする。なお、図９（ｂ）では、近似直線、および、重心位置Ｐ２から近似直線までの法線を破線で図示した。
【０１１７】
その後、人物軌跡特徴量算出部３１は、算出した人物軌跡の特徴量を人物軌跡特徴量正規化部３２に出力する。なお、人物軌跡特徴量算出部３１は、人物軌跡の特徴量として、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性の全てを算出せずに、後記する行動判定部３３で用いるものだけを算出してもよい。
【０１１８】
以下、図１２を参照し、人物軌跡特徴量正規化部３２による正規化を、準備段階と正規化段階とに分けて説明する（適宜図１１参照）。
【０１１９】
２次元画像座標内での検出位置により、画素を単位としたフレーム画像間の移動距離が異なる。例えば、撮影カメラが斜め上から人物を見下ろすように設置されている場合を考える。この場合、人物が等速で移動しているとしても、その撮影カメラで撮影された映像では、手前側で人物軌跡動きベクトルが大きくなり、奥側では人物軌跡動きベクトルが小さくなる。そこで、人物軌跡特徴量正規化部３２は、検出位置の相違による人物軌跡動きベクトルの誤差（つまり、速度の誤差）を補正する。
【０１２０】
＜準備段階＞
まず、撮影カメラで一定時間（例えば、２時間程度）の正規化用映像を予め撮影しておき、この正規化用映像を人物軌跡特徴量正規化部３２に入力する。そして、人物軌跡特徴量正規化部３２は、図１２（ａ）に示すように、この正規化用映像を所定数のブロック（例えば、縦３ブロック、横４ブロック）に分割する。また、人物軌跡特徴量正規化部３２は、正規化用映像の開始から終了まで、ブロック毎に、このブロックから動きベクトルを検出する。そして、人物軌跡特徴量正規化部３２は、ブロック毎に、検出された全ての動きベクトルを平均し、平均動きベクトルを算出する。
【０１２１】
図１２（ａ）では、ブロック毎に、平均動きベクトルを矢印で図示した。つまり、この矢印の大きさが平均動きベクトルの大きさであり、この矢印の向きが平均動きベクトルの向きである。図１２（ａ）に示すように、撮影カメラの手前側（図１２の下側）で平均動きベクトルが大きくなり、撮影カメラの奥側（図１２の上側）では平均動きベクトルが小さくなる。
【０１２２】
そして、人物軌跡特徴量正規化部３２は、これらブロックの間で平均動きベクトルが等しくなるように、ブロック毎に正規化係数を算出する。例えば、図１２（ｂ）に示すように、撮影カメラの手前側で平均動きベクトルが大きくなることから、人物軌跡特徴量正規化部３２は、下段のブロックでは、例えば、０．６〜０．７といった１未満の正規化係数を算出する。一方、撮影カメラの奥側で平均動きベクトルが小さくなることから、人物軌跡特徴量正規化部３２は、上段のブロックでは、例えば、１．２〜１．５といった１を超える正規化係数を算出する。さらに、中段のブロックでは、人物軌跡特徴量正規化部３２は、１近辺の正規化係数を算出する。
【０１２３】
なお、正規化を正確に行うために、正規化用映像と人物領域を検出する映像とは、同一の撮影カメラを用いて、同一の場所で撮影することが好ましい。
【０１２４】
＜正規化段階＞
人物軌跡特徴量正規化部３２は、人物軌跡特徴量算出部３１から人物軌跡の特徴量が入力されると共に、人物軌跡の特徴量を正規化する。まず、人物軌跡特徴量正規化部３２は、人物軌跡動きベクトルが検出された位置（例えば、人物軌跡動きベクトルの始点又は終点）から、その動きベクトルがどのブロックに含まれるかを求める。そして、人物軌跡特徴量正規化部３２は、人物軌跡動きベクトルの大きさに、その人物軌跡動きベクトルに対応するブロックの正規化係数を乗算する。さらに、人物軌跡特徴量正規化部３２は、正規化した人物軌跡の特徴量を行動判定部３３に出力する。
【０１２５】
なお、この正規化は、検出位置の相違による人物軌跡動きベクトルの大きさ、つまり、速度に関係する特徴量を補正するものである。このため、人物軌跡特徴量正規化部３２は、速度に関係ない特徴量、例えば、初回検出位置、現在検出位置、及び、移動方向については、正規化しなくともよい。
【０１２６】
図１１に戻り、人物行動判定手段３０の構成について、説明を続ける。
行動判定部３３は、人物軌跡特徴量正規化部３２から人物軌跡の特徴量が入力されると共に、この人物軌跡の特徴量に基づいて、人物の行動を判定する。なお、行動判定部３３は、単純な閾値処理によるルールベースの判定を行うとして説明するが、機械学習に基づく判定を行ってもよい。
【０１２７】
また、行動判定部３３は、人物軌跡の特徴量から、人物の行動を個別に判定するため、行動の種類毎に判定部を備える。図１１の例では、行動判定部３３は、走る判定部３３ａと、人と会う判定部３３ｂと、反対方向に歩く判定部３３ｃとを備える。以下、人物行動の判定の第１例〜第３例を順に説明する。
【０１２８】
＜第１例：「走る」＞
走る判定部３３ａは、人物軌跡の特徴量が「走る」の行動条件を満たすか否かを判定する。そして、走る判定部３３ａは、この行動条件を満たすときは、人物の行動を「走る」と判定する。その後、走る判定部３３ａは、「走る」を判定結果として出力する。一方、走る判定部３３ａは、この行動条件を満たさないときは、人物の行動を「走る」と判定せずに、何も出力しない。ここで、「走る」の行動条件は、例えば、以下のように設定される。
【０１２９】
＜＜「走る」の行動条件＞＞
平均速度  ＞  平均速度の閾値  ＡＮＤ
直線性    ＞  直線性の閾値    ＡＮＤ
移動距離  ＞  移動距離の閾値
【０１３０】
この「走る」の行動条件において、平均速度、移動距離及び直線性は、人物軌跡の特徴量として算出された値を用いる。また、平均速度の閾値、移動距離の閾値及び直線性の閾値は、予め設定されるか又は機械学習により決定される。
【０１３１】
なお、「走る」の行動条件は、ＡＮＤを含むが、その少なくとも一つをＯＲにしてもよい。また、「走る」の行動条件は、超える（＞）を用いているが、以上（≧）、以下（≦）、又は、未満（＜）を用いてもよい。
【０１３２】
＜第２例：「人と会う」＞
人と会う判定部３３ｂは、人物軌跡の特徴量が「人と会う」の行動条件を満たすか否かを判定する。そして、人と会う判定部３３ｂは、この行動条件を満たすときは、人物の行動を「人と会う」と判定する。その後、人と会う判定部３３ｂは、「人と会う」を判定結果として出力する。一方、人と会う判定部３３ｂは、この行動条件を満たさないときは、「人と会う」と判定せずに、何も出力しない。ここで、「人と会う」の行動条件は、例えば、以下のように設定される。
【０１３３】
＜＜「人と会う」の行動条件＞＞
初回検出位置の上限閾値＞初回検出位置＞初回検出位置の下限閾値  ＡＮＤ
現在検出位置の上限閾値＞現在検出位置＞現在検出位置の下限閾値  ＡＮＤ
移動距離      ＞  移動距離の閾値      ＡＮＤ
平均速度      ＞  平均速度の閾値      ＡＮＤ
平均加速度    ＞  平均加速度の閾値    ＡＮＤ
直線性        ＞  直線性の閾値
【０１３４】
この「人と会う」の行動条件において、初回検出位置、現在検出位置、移動距離、平均速度、平均加速度及び直線性は、人物軌跡の特徴量として算出された値を用いる。また、初回検出位置の上限閾値や下限閾値、現在検出位置の上限閾値や下限閾値、移動距離の閾値、平均速度の閾値、平均加速度の閾値及び直線性の閾値は、予め設定されるか又は機械学習により決定される。
【０１３５】
なお、「人と会う」の行動条件は、ＡＮＤを含むが、その少なくとも一つをＯＲにしてもよい。また、「人と会う」の行動条件は、超える（＞）を用いているが、以上（≧）、以下（≦）、又は、未満（＜）を用いてもよい。
【０１３６】
＜第３例：「反対方向に歩く」＞
反対方向に歩く判定部３３ｃは、人物軌跡の特徴量が「反対方向に歩く」の行動条件を満たすか否かを判定する。そして、反対方向に歩く判定部３３ｃは、この行動条件を満たすときは、人物の行動を「反対方向に歩く」と判定する。その後、反対方向に歩く判定部３３ｃは、「反対方向に歩く」を判定結果として出力する。一方、反対方向に歩く判定部３３ｃは、この行動条件を満たさないときは、「反対方向に歩く」と判定ぜず、何も出力しない。ここで、「反対方向に歩く」の行動条件は、例えば、以下のように設定される。
【０１３７】
＜＜「反対方向に歩く」の行動条件＞＞
移動距離  ＞  移動距離の閾値  ＡＮＤ
移動方向の上限閾値＞移動方向＞移動方向の下限閾値
【０１３８】
この「反対方向に歩く」の行動条件において、移動距離及び移動方向は、人物軌跡の特徴量として算出された値を用いる。また、移動距離の閾値、及び、移動方向の上限閾値や下限閾値は、予め設定されるか又は機械学習により決定される。
【０１３９】
なお、「反対方向に歩く」の行動条件は、ＡＮＤを用いているが、ＯＲを用いてもよい。また、「反対方向に歩く」の行動条件は、超える（＞）を用いているが、以上（≧）、以下（≦）、又は、未満（＜）を用いてもよい。
【０１４０】
なお、行動判定部３３が判定する人物の行動は、前記した第１例〜第３例に限定されないことは言うまでもない。例えば、行動判定部３３は、物を置く判定部（不図示）を備え、「物を置く」を判定してもよい。この場合、物を置く判定部は、現在検出位置がほとんど変化せず、下方向に動きがあった場合、「物を置く」と判定してもよい。
【０１４１】
また、行動判定部３３は、行動判定に用いる人物軌跡の特徴量や閾値を手動で設定する判定手法に限られず、主成分分析による判定手法を利用してもよい。この主成分分析による判定手法の詳細は、第３実施形態として後記する。
【０１４２】
ここで、例えば、「人に会う」と「物を置く」は、同時に判定されることが考えられる。このため、行動判定部３３は、人と会う判定部３３ｂや物を置く判定部等の各判定部が独立する構成とした。この構成では、行動判定部３３は、矛盾した判定結果を出力することも考えられる。しかし、「物を置く」の行動条件に、例えば、平均速度が低いという条件を加えることで、行動判定部３３は、互いに矛盾する「物を置く」と「走る」とを同時に判定する事態を防止できる。
【０１４３】
［人物行動判定装置の全体動作］
図１３を参照して、人物行動判定装置１の全体構成について、説明する（適宜図１参照）。図１３に示すように、人物行動判定装置１は、人物領域検出手段１０によって、撮影カメラから映像が入力されると共に、この映像に含まれる１以上の人物領域を機械学習により検出する（ステップＳ１）。
【０１４４】
また、人物行動判定装置１は、人物軌跡生成手段２０によって、人物領域検出手段１０から人物領域が入力されると共に、人物領域毎に特徴量を算出する。そして、人物行動判定装置１は、人物軌跡生成手段２０によって、人物領域の特徴量が類似するか否かを判定する。さらに、人物行動判定装置１は、人物軌跡生成手段２０によって、同一人物の人物領域の重心位置を連結して人物軌跡を生成する（ステップＳ２）。
【０１４５】
また、人物行動判定装置１は、人物行動判定手段３０によって、人物軌跡生成手段２０から人物軌跡が入力されると共に、人物軌跡毎に特徴量を算出する。また、人物行動判定手段３０は、この人物軌跡の特徴量が行動条件を満たすか否かを判定する。そして、人物行動判定手段３０は、この人物軌跡の特徴量が行動条件を満たすときは、その人物が行動条件に対応する行動を行っていると判定する（ステップＳ３）。
【０１４６】
［人物領域検出手段の動作］
以下、図１４を参照し、人物領域検出手段１０の動作について、説明する（適宜図２参照）。人物領域検出手段１０は、訓練データ特徴量算出部１２によって、訓練データの特徴量を算出する（ステップＳ１１）。
【０１４７】
また、人物領域検出手段１０は、人物領域判定部１５によって、訓練データを機械学習し、学習パラメータを求める（ステップＳ１２）。そして、人物領域検出手段１０は、変化領域検出部１３によって、映像から変化領域を求める（ステップＳ１３）。
【０１４８】
また、人物領域検出手段１０は、変化領域特徴量算出部１４によって、変化領域の特徴量を算出する（ステップＳ１４）。そして、人物領域検出手段１０は、人物領域判定部１５によって、学習パラメータを用いて、変化領域が人物領域であるか否かを判定する（ステップＳ１５）。
【０１４９】
また、人物領域検出手段１０は、代表人物領域選択部１６によって、人物領域判定部１５から複数の人物領域が入力されたときは、クラスタリングを行い、一つの人物領域を選択する（ステップＳ１６）。
【０１５０】
［人物軌跡生成手段の動作］
以下、図１５を参照し、人物軌跡生成手段２０の動作について、説明する（適宜図７参照）。人物軌跡生成手段２０は、人物領域特徴量算出部２１によって、人物領域の特徴量を算出する。そして、人物軌跡生成手段２０は、人物領域特徴量算出部２１によって、人物領域の特徴量を特徴量データベース２２に登録する（ステップＳ２１）。
【０１５１】
また、人物軌跡生成手段２０は、人物領域特徴量照合部２３によって、現在のフレーム画像における人物領域の特徴量と、過去のフレーム画像における人物領域の特徴量とを照合し、同一人物の人物領域であるか否かを判定する（ステップＳ２２）。
【０１５２】
また、人物軌跡生成手段２０は、人物軌跡生成部２４によって、過去のフレーム画像と処理対象のフレーム画像との間で、同一人物の人物領域の重心位置を求め、これを連結して人物軌跡を生成する（ステップＳ２３）。
【０１５３】
また、人物軌跡生成手段２０は、人物予測部２５（カルマンフィルタ）によって、人物軌跡を用いて人物位置を予測し、予測領域と予測位置とを出力する（ステップＳ２４）。
【０１５４】
［人物行動判定手段の構成］
以下、図１６を参照し、人物行動判定手段３０の動作について説明する（適宜図１１参照）。人物行動判定手段３０は、人物軌跡特徴量算出部３１によって、人物軌跡毎に特徴量を算出する。ここで、人物行動判定手段３０は、人物軌跡特徴量算出部３１によって、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量で、人物軌跡の特徴量を算出する（ステップＳ３１）。
【０１５５】
また、人物行動判定手段３０は、人物軌跡特徴量正規化部３２によって、予め設定した正規化係数を用いて、人物軌跡の特徴量を正規化する（ステップＳ３２）。
【０１５６】
また、人物行動判定手段３０は、行動判定部３３によって、正規化された人物軌跡の特徴量に基づいて、人物の行動を判定する（ステップＳ３３）。そして、人物行動判定手段３０は、行動判定部３３によって、その判定結果を出力する（ステップＳ３４）。
【０１５７】
以上のように、本発明の第１実施形態に係る人物行動判定装置１は、映像から特定の人物を長期（例えば、３０フレーム）にわたり追跡し、人物軌跡を生成する。そして、人物行動判定装置１は、この人物軌跡から様々な特徴量を算出し、これら特徴量に基づいて、人物の行動を判定する。これによって、人物行動判定装置１は、オクルージョンが発生するような混雑したシーンからも人物の行動を正確に判定できる。
【０１５８】
また、人物行動判定装置１は、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、代表人物領域選択部１６が一つの人物領域を選択するので、その人物の行動をより正確に判定できる。そして、人物行動判定装置１は、人物軌跡特徴量正規化部３２が正規化を行うので、撮影カメラの位置に関わらず、その人物の行動をより正確に判定できる。さらに、人物行動判定装置１は、人物行動判定手段３０が簡易なルールベースの判定を行うので、処理の高速化を図ることができる。
【０１５９】
（第２実施形態）
以下、図１７を参照し、本発明の第２実施形態に係る人物行動判定装置１Ｂについて、第１実施形態と異なる点を説明する。人物行動判定装置１Ｂは、人物行動判定手段３０Ｂが、人物軌跡特徴量算出部３１と、人物軌跡特徴量正規化部３２と、行動判定部３３と、行動提示部３４とを備える。
【０１６０】
行動提示部３４は、撮影カメラから映像が入力されると共に、行動判定部３３の判定結果をこの映像に付加する。また、行動提示部３４は、人物軌跡を映像に付加してもよい。さらに、行動提示部３４は、判定結果と人物軌跡との両方を映像に付加してもよい。その後、行動提示部３４は、判定結果や人物軌跡を付加した映像を、外部（例えば、監視者）に提示する。
【０１６１】
以上のように、本発明の第２実施形態に係る人物行動判定装置１Ｂは、人物の行動や人物軌跡が付加された映像を外部に提示するので、実際の映像と合わせて判定結果や人物軌跡を確認でき、映像による監視を行いやすくなる。
【０１６２】
（第３実施形態）
以下、図１８を参照し、本発明の第３実施形態に係る人物行動判定装置１Ｃについて、第１実施形態と異なる点を説明する。人物行動判定装置１Ｃは、人物軌跡の特徴量を主成分分析し、３次元程度まで次元数を落として、特徴空間を作成する。そして、人物行動判定装置１Ｃは、この特徴空間内で、例えば、「走る」クラス、「反対方向に歩く」クラス、「人に会う」クラスを作成し、人物軌跡の特徴量をその特徴空間に射影した際にどのクラスに含まれるかを評価して、人物の行動を判定できる。
【０１６３】
人物行動判定装置１Ｃは、図１８に示すように、人物行動判定手段３０Ｃが、人物軌跡特徴量算出部３１と、人物軌跡特徴量正規化部３２と、行動判定部３３Ｃと、特徴空間データベース３５と、人物軌跡特徴量射影部３６を備える。
【０１６４】
まず、人物行動判定装置１Ｃは、予め用意した学習用映像から、第１実施形態と同様に人物軌跡を生成する。また、人物行動判定装置１Ｃは、学習用映像から生成した人物軌跡に対して、主成分分析を行い、特徴空間を生成する。そして、人物行動判定装置１Ｃは、生成した特徴空間を特徴空間データベース３５に格納する。
【０１６５】
ここで、主成分分析は、相関関係にあるいくつかの要因を合成（圧縮）して、いくつかの成分にし、その総合力や特性を求める方法である。また、特徴空間は、それぞれの人物の行動毎に行動クラス（平均座標、分散）を含む。
【０１６６】
人物軌跡特徴量射影部３６は、人物軌跡特徴量正規化部３２から人物軌跡の特徴量が入力されると共に、人物軌跡の特徴量に固有ベクトルを乗算し、特徴空間における人物軌跡の座標を求める。そして、人物軌跡特徴量射影部３６は、この人物軌跡の座標を、行動判定部３３Ｃに出力する。
【０１６７】
行動判定部３３Ｃは、人物軌跡特徴量射影部３６から人物軌跡の座標が入力されると共に、人物軌跡の座標と、行動毎に求められた行動クラスとの距離を算出する。そして、行動判定部３３Ｃは、この距離（行動条件）に基づいて、人物の行動を判定する。
【０１６８】
以下、図１９を参照し、特徴空間を用いた人物行動の判定について説明する（適宜図１８参照）。前記したように、人物軌跡の特徴量は、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量である。この場合、多次元の特徴量を次元圧縮することで、ある特徴量を低次元の特徴空間で評価することができる。
【０１６９】
図１９に示すように、人物軌跡の特徴量は、Ｐ１軸、Ｐ２軸及びＰ３軸で表現される３次元の特徴空間に次元圧縮される。これによって、人物領域の特徴量間の距離は、３次元の特徴空間において、点と点との距離として評価することができる。なお、図１９では、特徴空間の各点が人物軌跡の特徴量を示す。
【０１７０】
ここで、図１９の特徴空間では、例えば、走るクラスが符合ＣＬ１の範囲内であり、人に会うクラスが符号ＣＬ２の範囲内であるとする。この場合、走る判定部３３ａは、人物軌跡の座標が走るクラスＣＬ１の範囲内であれば、「走る」と判定する。また、人と会う判定部３３ｂは、人物軌跡の座標が人に会うクラスＣＬ２の範囲内であれば、「人と会う」と判定する。なお、この符合ＣＬ１，ＣＬ２は、予め設定してもよいし、各行動クラスの分散値としてもよい。
【０１７１】
なお、行動判定部３３Ｃは、一般的な特徴点が特徴空間の中央に集まることが多いため、中央から遠い特徴点を異常値とみなし、「通常行動」又は「異常行動」であるかを判定してもよい。
【０１７２】
以上のように、本発明の第３実施形態に係る人物行動判定装置１Ｃは、人物領域の特徴量の次元数を低減できるので、処理負荷を低減することができる。なお、第３実施形態では、３次元の次元圧縮を説明したが、これに限定されず、５次元の次元圧縮を行ってもよい。
【０１７３】
（第４実施形態）
以下、図２０を参照し、本発明の第４実施形態に係る人物行動判定装置１Ｄについて、第１実施形態と異なる点を説明する。図２０に示すように、人物行動判定装置１Ｄは、人物領域検出手段１０Ｄと、人物軌跡生成手段２０と、人物行動判定手段３０Ｄと、映像逆再生手段４０とを備える。
【０１７４】
人物行動判定手段３０Ｄは、順方向の映像について、図１の人物行動判定手段３０と同様に人物の行動を判定する。そして、人物行動判定手段３０Ｄは、「走る」等の検証対象行動を判定した場合、逆再生指令を映像逆再生手段４０に出力する。この検証対象行動は、例えば、オペレータによって、予め設定される。
【０１７５】
映像逆再生手段４０は、撮影カメラから入力された映像を一時的に蓄積するフレームメモリ（不図示）を備える。そして、映像逆再生手段４０は、人物行動判定手段３０Ｄから逆再生指令が入力された場合、逆再生映像を人物領域検出手段１０Ｄに出力する。なお、逆再生映像は、フレームメモリに蓄積した映像を逆の順番で再生したものである。
【０１７６】
人物領域検出手段１０Ｄは、映像逆再生手段４０からの逆再生映像を用いて、図１の人物領域検出手段１０と同様の処理を行う。
人物軌跡生成手段２０は、逆再生映像から生成された人物領域に基づいて、図１の人物軌跡生成手段２０と同様の処理を行う。
【０１７７】
その後、人物行動判定手段３０Ｄは、逆再生映像から生成した人物軌跡に基づいて、図１の人物行動判定手段３０と同様に人物の行動を判定する。そして、人物行動判定手段３０Ｄは、同一人物について、順方向の映像と逆再生映像との両方で、同一人物で同じ検証対象行動を判定できた場合、その判定結果を出力する。一方、人物行動判定手段３０Ｄは、順方向の映像と逆再生映像との両方で、同一人物で同じ検証対象行動を判定できない場合、何の判定結果も出力しない。
【０１７８】
以上のように、本発明の第４実施形態に係る人物行動判定装置１Ｄは、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
【０１７９】
なお、各実施形態では、本発明に係る人物行動判定装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【０１８０】
本発明に係る人物行動判定装置は、セキュリティ分野、スポーツ映像解析、個人認証、及び、人物の行動をキーとした映像検索装置に用いることができる。また、本発明に係る人物行動判定装置は、得られた情報を提示して視聴者の理解を促進することも可能であり、テレビ放送、インターネットなどに向けた映像制作を支援する分野に用いることができる。
【符号の説明】
【０１８１】
１，１Ｂ，１Ｃ，１Ｄ  人物行動判定装置
１０，１０Ｄ  人物領域検出手段
１１  人物画像データベース
１２  訓練データ特徴量算出部
１３  変化領域検出部
１４  変化領域特徴量算出部
１５  人物領域判定部
１６  代表人物領域選択部
２０  人物軌跡生成手段
２１  人物領域特徴量算出部
２２  特徴量データベース
２３  人物領域特徴量照合部
２４  人物軌跡生成部
２５  人物予測部
３０，３０Ｂ，３０Ｃ，３０Ｄ  人物行動判定手段
３１  人物軌跡特徴量算出部
３２  人物軌跡特徴量正規化部
３３，３３Ｃ  行動判定部
３３ａ  走る判定部
３３ｂ  人と会う判定部
３３ｃ  反対方向に歩く判定部
３４  行動提示部
３５  特徴空間データベース
３６  人物軌跡特徴量射影部
４０  映像逆再生手段
【図１】
2011100175.tif 000006
【図２】
2011100175.tif 000007
【図３】
2011100175.tif 000008
【図４】
2011100175.tif 000009
【図５】
2011100175.tif 000010
【図６】
2011100175.tif 000011
【図７】
2011100175.tif 000012
【図８】
2011100175.tif 000013
【図９】
2011100175.tif 000014
【図１０】
2011100175.tif 000015
【図１１】
2011100175.tif 000016
【図１２】
2011100175.tif 000017
【図１３】
2011100175.tif 000018
【図１４】
2011100175.tif 000019
【図１５】
2011100175.tif 000020
【図１６】
2011100175.tif 000021
【図１７】
2011100175.tif 000022
【図１８】
2011100175.tif 000023
【図１９】
2011100175.tif 000024
【図２０】
2011100175.tif 000025