(57)【要約】【課題】画像の撮影距離や撮影角度にかかわらず、高精度の個人認識ができる個人認識方法および装置を提供する。【解決手段】歩行動作を撮影した動画像から歩行者の特定の部位の動作軌跡を求める動作軌跡作成手段３と、動作軌跡から特定の部位の速度を算出する速度算出手段４と、特定の部位の速度を鉛直方向および進行方向の成分に分解する速度分解手段５と、２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する周波数スペクトル算出手段６と、周波数スペクトルの評価関数を算出する評価関数算出手段７と、特定人の前記評価関数を記録する評価関数記憶手段８と、歩行者の評価関数と評価関数記憶手段８に記録しておいた特定人の評価関数のユークリッド距離を算出するユークリッド距離算出手段９と、前記ユークリッド距離が最小となる特定人と歩行者が同一人物であると判断する同一性判断手段１０を備える。【選択図】        図１
2006136430.tif 000002
【特許請求の範囲】
【請求項１】
歩行者の歩行動作を撮像装置で撮像して得られる動画像から、前記歩行者を識別する個人識別に使用するための評価関数を生成する評価関数生成方法であって、
撮像装置により撮像された動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する第１のステップと、
前記動作軌跡から前記特定の部位の速度を算出する第２のステップと、
前記特定の部位の速度を鉛直方向および進行方向の成分に分解する第３のステップと、
前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する第４のステップと、
前記周波数スペクトルの評価関数を算出する第５のステップと、
を有することを特徴とする評価関数生成方法。
【請求項２】
撮像装置、及び請求項１に記載の評価関数生成方法により生成された、複数の特定人の歩行動作についての評価関数が記憶された評価関数記憶手段を備えたシステムにおいて、撮像装置により撮像された歩行者の歩行動作の動画像に基づき前記歩行者を識別する個人識別方法であって、
撮像装置により撮像された動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する動作軌跡算出ステップと、
前記動作軌跡から前記特定の部位の速度を算出する速度算出ステップと、
前記特定の部位の速度を鉛直方向および進行方向の成分に分解する速度分解ステップと、
前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する周波数スペクトル算出ステップと、
前記周波数スペクトルの評価関数を算出する評価関数算出ステップと、
前記評価関数記憶手段に記憶されたそれぞれの特定人の評価関数と、前記撮像装置により撮像された歩行者の評価関数との間の距離を算出する距離算出ステップと、
前記距離算出ステップで算出された距離が最小となる特定人を選出する選出ステップ
を有することを特徴とする個人識別方法。
【請求項３】
前記選出ステップにおいては、前記距離算出ステップで算出された距離についてのｋ近傍法アルゴリズムを実行することにより、前記撮像装置により撮像された歩行者と同一人物であるとされる特定人を決定すること
を特徴とする請求項２記載の個人識別方法。
【請求項４】
前記評価関数は、次式で定義されるマグニチュードスペクトルの関数であることを特徴とする請求項２または請求項３に記載の個人識別方法。
【数１】
2006136430.tif 000013
【請求項５】
前記評価関数は、次式で定義される位相スペクトルの関数であることを特徴とする請求項２または請求項３に記載の個人識別方法。
【数２】
2006136430.tif 000014
【請求項６】
前記評価関数は、次式で定義される位相重み付きマグニチュードスペクトルの関数であることを特徴とする請求項２または請求項３に記載の個人識別方法。
【数３】
2006136430.tif 000015
【請求項７】
前記評価関数は前記複数の特定の部位の周波数スペクトルの関数の積であることを特徴とする請求項２ないし請求項６の何れかに記載の個人識別方法。
【請求項８】
前記評価関数は前記鉛直方向の成分の周波数スペクトルの関数と前記進行方向の成分の周波数スペクトルの関数の積であることを特徴とする請求項２ないし請求項７の何れかに記載の個人識別方法。
【請求項９】
前記評価関数は複数の特定の部位の速度についての周波数スペクトルの関数の幾何平均であることを特徴とする請求項２ないし請求項８の何れかに記載の個人識別方法。
【請求項１０】
前記評価関数は前記鉛直方向の成分についての周波数スペクトルの関数と前記進行方向の成分についての周波数スペクトルの関数の幾何平均であることを特徴とする請求項２ないし請求項９の何れかに記載の個人識別方法。
【請求項１１】
前記特定の部位は足首であることを特徴とする請求項２ないし請求項１０の何れかに記載の個人識別方法。
【請求項１２】
歩行者の歩行動作を撮像装置により撮像して得られる動画像から、前記歩行者を識別する個人識別装置において、
撮像装置により撮像された前記動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する動作軌跡作成手段と、
前記動作軌跡から前記特定の部位の速度を算出する速度算出手段と、
前記特定の部位の速度を鉛直方向および進行方向の成分に分解する速度分解手段と、
前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する周波数スペクトル算出手段と、
前記周波数スペクトルの評価関数を算出する評価関数算出手段と、
複数の特定人の歩行動作についての前記評価関数を記憶する評価関数記憶手段と、
撮像装置により撮像された歩行者について前記評価関数算出手段が算出する前記評価関数と、前記評価関数記憶手段に記憶されたそれぞれの特定人の評価関数の間の距離を算出する距離算出手段と、
前記距離算出手段により算出される距離が最小となる特定人を選出する同一性判断手段
を備えることを特徴とする個人識別装置。
【請求項１３】
前記同一性判断手段は、前記距離算出手段が算出する距離についてのｋ近傍法アルゴリズムを実行することにより、前記撮像装置により撮像された歩行者と同一人物であるとされる特定人を決定すること
を特徴とする請求項１２に記載の個人識別装置。
【請求項１４】
前記評価関数は、次式で定義されるマグニチュードスペクトルの関数であることを特徴とする請求項１２または請求項１３に記載の個人識別装置。
【数４】
2006136430.tif 000016
【請求項１５】
前記評価関数は、次式で定義される位相スペクトルの関数であることを特徴とする請求項１２または請求項１３に記載の個人識別装置。
【数５】
2006136430.tif 000017
【請求項１６】
前記評価関数は、次式で定義される位相重み付きマグニチュードスペクトルの関数であることを特徴とする請求項１２または請求項１３に記載の個人識別装置。
【数６】
2006136430.tif 000018
【請求項１７】
前記評価関数は前記複数の特定の部位の周波数スペクトルの関数の積であることを特徴とする請求項１２ないし請求項１６の何れかに記載の個人識別装置。
【請求項１８】
前記評価関数は前記鉛直方向の成分の周波数スペクトルの関数と前記進行方向の速成分の周波数スペクトルの関数の積であることを特徴とする請求項１２ないし請求項１７の何れかに記載の個人識別装置。
【請求項１９】
前記評価関数は複数の特定の部位の速度についての周波数スペクトルの関数の幾何平均であることを特徴とする請求項１２ないし請求項１８の何れかに記載の個人識別装置。
【請求項２０】
前記評価関数は前記鉛直方向の成分についての周波数スペクトルの関数と前記進行方向の成分についての周波数スペクトルの関数の幾何平均であることを特徴とする請求項１２ないし請求項１９の何れかに記載の個人識別装置。    
【請求項２１】
前記特定の部位は足首であることを特徴とする請求項１２ないし請求項２０の何れかに記載の個人識別装置。
【請求項２２】
前記請求項１に記載の評価関数生成方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２３】
前記特請求項２ないし請求項１１のいずれかに記載の個人識別方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、歩行者の歩行動作を撮像装置で撮像して得られる動画像に基づいて個人を識別するための評価関数生成方法、および個人識別装置並びに個人識別方法に関するものである。
【背景技術】
【０００２】
保安上の理由による特定の場所への入退場管理、あるいは安全上の理由による特定の装置への無資格者の接近の制限などを行うために、身体的属性を利用して個人を識別する方法が求められている。現在実用されている個人識別法として、指紋、虹彩を照合して個人を識別する方法等がある。しかし、入退場等の度に指や目を識別装置に近づけるのは煩わしく、心理的な抵抗が大きかった。また、このような識別方法は識別対象者が自らの意思で識別を受けることを前提としているので、不審者等の接近を「見張る」用途には使えなかった。
【０００３】
そこで、接近または通過するだけの人間を多少離れた場所から「見張って」識別する方法・装置が必要になる。特許文献１には、人間の姿をビデオカメラで撮影した画像の重心位置と傾きに基づいて、個人識別する装置が開示されている。また、非特許文献１は歩行動作のパワースペクトルが個人識別に有効であることを報告している。
【特許文献１】特開２０００−１８２０６０号公報
【非特許文献１】Baihua Li and Horst Holstein, Perception of Human Periodic Motion in Moving Light Displays-a Motion-Based Frequency Domain Approach,Interdisciplinary Journal of Artificial Intelligence and the Simulation ofBehavior (AISBJ), Vol.1 no.5 pp.403-416, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置は、人体を正面から見た時の体の傾きに基づいて個人識別するので、側面や斜め方向からの画像では個人識別することが出来ないという問題があった。また、非特許文献１は、歩行動作のパワースペクトルが個人識別に有用であることを示唆しているが、具体的な個人識別方法や装置を完成させたものではなかった。
【０００５】
本発明は、かかる課題を解決するためになされたものであり、画像の撮影方向や撮影距離にかかわらず、高精度の個人認識ができる評価関数生成方法及び個人識別装置並びに個人識別方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の評価関数生成方法の構成は、歩行者の歩行動作を撮像装置で撮像して得られる動画像から、前記歩行者を識別する個人識別に使用するための評価関数を生成する評価関数生成方法であって、撮像装置により撮像された動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する第１のステップと、前記動作軌跡から前記特定の部位の速度を算出する第２のステップと、前記特定の部位の速度を鉛直方向および進行方向の成分に分解する第３のステップと、前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する第４のステップと、前記周波数スペクトルの評価関数を算出する第５のステップと、を有することを特徴とする。
【０００７】
この構成によれば、動画像における歩行者の特定の部位の位置を抽出し、座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出し、前記動作軌跡から前記特定の部位の速度を算出し、前記特定の部位の速度を鉛直方向および進行方向の成分に分解し、前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出し、前記周波数スペクトルの評価関数を算出する。これにより、ある程度離れた場所から撮像した動画像に基づいて、識別性の高い評価関数を得ることが可能になる。
【０００８】
本発明の個人識別方法の第１の構成は、撮像装置、前記評価関数生成方法により生成された、複数の特定人の歩行動作についての評価関数が記憶された評価関数記憶手段を備えたシステムにおいて、撮像装置により撮像された歩行者の歩行動作の動画像に基づき前記歩行者を識別する個人識別方法であって、撮像装置により撮像された動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する動作軌跡算出ステップと、前記動作軌跡から前記特定の部位の速度を算出する速度算出ステップと、前記特定の部位の速度を鉛直方向および進行方向の成分に分解する速度分解ステップと、前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する周波数スペクトル算出ステップと、前記周波数スペクトルの評価関数を算出する評価関数算出ステップと、前記評価関数記憶手段に記憶されたそれぞれの特定人の評価関数と、前記撮像装置により撮像された歩行者の評価関数との間の距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離が最小となる特定人を選出する選出ステップを有することを特徴とする。
【０００９】
この構成によれば、特定人の評価関数と歩行者の評価関数との間の距離が最小となる特定人を選出することによって、歩行者を識別する。ここで、距離とはユークリッド距離、ユークリッド平方距離などの各種の距離を適宜選択して使用できる。これにより、ある程度離れた場所から撮像した動画像に基づいて、精度の高い個人識別が可能になる。
【００１０】
本発明の個人識別方法の第２の構成は、前記第１の構成において、前記選出ステップにおいては、前記距離算出ステップで算出された距離についてのｋ近傍法アルゴリズムを実行することにより、前記撮像装置により撮像された歩行者と同一人物であるとされる特定人を決定することを特徴とする。
【００１１】
この構成によれば、前記距離算出ステップで算出された距離についてのｋ近傍法アルゴリズムを実行することにより、前記撮像装置により撮像された歩行者と同一人物であるとされる特定人を決定する。これにより、歩行者の評価関数の近傍にある複数の評価関数を抽出して、「多数決」で歩行者と同一人物であるとされる特定人を決定するので、撮影条件等の変動の影響を受けにくい安定した識別が可能になる。
【００１２】
本発明の個人識別方法の第３の構成は、前記第１又は第２の構成において、前記評価関数は、次式で定義されるマグニチュードスペクトルの関数であることを特徴とする。
【００１３】
【数１】
2006136430.tif 000003
【００１４】
本発明の個人識別方法の第４の構成は、前記第１又は第２の構成に加えて、前記評価関数は、次式で定義される位相スペクトルの関数であることを特徴とする。
【００１５】
【数２】
2006136430.tif 000004
【００１６】
本発明の個人識別方法の第５の構成は、前記第１又は第２の構成に加えて、前記評価関数は、次式で定義される位相重み付きマグニチュードスペクトルの関数であることを特徴とする。
【００１７】
【数３】
2006136430.tif 000005
【００１８】
第３ないし第５の構成によれば、正規化した周波数スペクトルの関数に基づいて個人識別を行う。そのため、歩行画像の撮影距離や撮影角度の影響を受けず、撮影距離や撮影角度が変動しても精度の高い個人識別が可能になる。
【００１９】
本発明の個人識別方法の第６の構成は、前記第１ないし第５の構成に加えて、前記評価関数は前記複数の特定の部位の周波数スペクトルの関数の積であることを特徴とする。    
【００２０】
本発明の個人識別方法の第７の構成は、前記第１ないし第６の構成に加えて、前記評価関数は前記鉛直方向の成分の周波数スペクトルの関数と前記進行方向の速成分の周波数スペクトルの関数の積であることを特徴とする。
【００２１】
第６又は第７の構成によれば、異なる部位あるいは異なる方向の周波数スペクトルの関数の積に基づいて個人識別を行う。そのため、単一の部位または方向の関数に基づいて個人識別を行う場合に比べて、個人の特徴が強く出るので、検出精度が向上する。
【００２２】
本発明の個人識別方法の第８の構成は、前記第１ないし第７の構成に加えて、前記評価関数は複数の特定の部位の速度についての周波数スペクトルの関数の幾何平均であることを特徴とする。
【００２３】
本発明の個人識別方法の第９の構成は、前記第１ないし第８の構成に加えて前記評価関数は前記鉛直方向の成分についての周波数スペクトルの関数と前記進行方向の成分についての周波数スペクトルの関数の幾何平均であることを特徴とする。
【００２４】
第８又は第９の構成によれば、異なる部位あるいは異なる方向の周波数スペクトルの関数の幾何平均に基づいて個人識別を行う。これにより、単一の部位または方向の関数に基づいて個人識別を行う場合に比べて、個人の特徴が強く出るので、検出精度が向上する。
【００２５】
本発明の個人識別方法の第１０の構成は、前記第１ないし第９の構成に加えて、前記特定の部位は足首であることを特徴とする。
【００２６】
この構成によれば、足首の速度の周波数スペクトルに基づいて個人識別を行う。足首は他の部位に比べて画像による認識が容易なので、個人識別を容易に行える。
【００２７】
本発明の個人識別装置の第１の構成は、歩行者の歩行動作を撮像装置により撮像して得られる動画像から、前記歩行者を識別する個人識別装置において、撮像装置により撮像された前記動画像における前記歩行者の特定の部位の位置を抽出し、前記特定の部位の座標を算出し、前記座標を時系列に配列して、前記特定の部位の動作軌跡を算出する動作軌跡作成手段と、前記動作軌跡から前記特定の部位の速度を算出する速度算出手段と、前記特定の部位の速度を鉛直方向および進行方向の成分に分解する速度分解手段と、前記２方向の成分の内の少なくとも１方向の成分について周波数スペクトルを算出する周波数スペクトル算出手段と、前記周波数スペクトルの評価関数を算出する評価関数算出手段と、複数の特定人の歩行動作についての前記評価関数を記憶する評価関数記憶手段と、撮像装置により撮像された歩行者について前記評価関数算出手段が算出する前記評価関数と、前記評価関数記憶手段に記憶されたそれぞれの特定人の評価関数の間の距離を算出する距離算出手段と、前記距離算出手段により算出される距離が最小となる特定人を選出する同一性判断手段を備えることを特徴とする。
【００２８】
本発明の個人識別装置の第２の構成は、前記第１の構成において、前記同一性判断手段は、前記距離算出手段が算出する距離についてのｋ近傍法アルゴリズムを実行することにより、前記撮像装置により撮像された歩行者と同一人物であるとされる特定人を決定することを特徴とする。
【００２９】
本発明の個人識別装置の第３の構成は、前記第１又は第２の構成において、前記評価関数は、次式で定義されるマグニチュードスペクトルの関数であることを特徴とする。
【００３０】
【数４】
2006136430.tif 000006
【００３１】
本発明の個人識別装置の第４の構成は、前記第１又は第２の構成において、前記評価関数は、次式で定義される位相スペクトルの関数であることを特徴とする。
【００３２】
【数５】
2006136430.tif 000007
【００３３】
本発明の個人識別装置の第５の構成は、前記第１又は第２の構成において、前記評価関数は、次式で定義される位相重み付きマグニチュードスペクトルの関数であることを特徴とする。
【００３４】
【数６】
2006136430.tif 000008
【００３５】
本発明の個人識別装置の第６の構成は、前記第１ないし第５の構成において、前記評価関数は前記複数の特定の部位の周波数スペクトルの関数の積であることを特徴とする。
【００３６】
本発明の個人識別装置の第７の構成は、前記第１ないし第６の構成において、前記評価関数は前記鉛直方向の成分の周波数スペクトルの関数と前記進行方向の速成分の周波数スペクトルの関数の積であることを特徴とする。
【００３７】
本発明の個人識別装置の第８の構成は、前記第１ないし第７の構成において、前記評価関数は複数の特定の部位の速度についての周波数スペクトルの関数の幾何平均であることを特徴とする。
【００３８】
本発明の個人識別装置の第９の構成は、前記第１ないし第８の構成において、前記評価関数は前記鉛直方向の成分についての周波数スペクトルの関数と前記進行方向の成分についての周波数スペクトルの関数の幾何平均であることを特徴とする。
【００３９】
本発明の個人識別装置の第１０の構成は、前記第１ないし第９の構成において、前記特定の部位は足首であることを特徴とする。
【００４０】
本発明のプログラムは、前記評価関数生成方法をコンピュータに実行させることを特徴とする。
【００４１】
本発明のプログラムは、前記第１ないし第１０の構成の個人識別方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００４２】
以上説明したように、本発明によれば、歩行者の歩行動作を撮像した動画像から、当該歩行者の歩行動作の特徴を、特定の部位の速度の周波数スペクトルの関数の形で算出して、個人識別を行うので、ある程度離れた場所から個人識別が可能になる。そのため、本発明は特定の場所の安全確保のための監視装置などの機能向上に資するところが大きい。
【発明を実施するための最良の形態】
【００４３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【実施例１】
【００４４】
図１は、実施例１に係る個人識別装置の構成を示すブロック図である。個人識別装置１は異なる場所に設置された２台のビデオカメラ２で歩行者の歩行動作を同時に撮影した２つの動画像に基づいて、前記歩行者を識別する識別装置であり、動作軌跡作成手段３、速度算出手段４、速度分解手段５、周波数スペクトル算出手段６、評価関数算出手段７、評価関数記憶手段８、ユークリッド距離算出手段９および同一性判断手段１０から構成される。
【００４５】
動作軌跡作成手段３は、前記２つの動画像からを前記歩行者の体の特定の部位を抽出して、２台のビデオカメラ２の位置の違いによって生じる、前記２つの動画像中の前記特定の部位の位置のずれに基づいて、前記特定の部位の３次元座標を、各フレームについて算出し、撮影順に配列して、前記特定の部位の動作軌跡を求める手段である。
【００４６】
速度算出手段４は、前記特定の部位の動作軌跡を時間微分して、前記特定の部位の速度を算出する手段である。
【００４７】
速度分解手段５は、前記特定の部位の速度のベクトルを、前記歩行者の進行方向を示す水平軸と地面に対して垂直な鉛直軸で定義される２次元平面に投影して、前記特定の部位の速度のベクトルを前記水平軸方向の成分と前記鉛直軸方向の成分に分解する手段である。
【００４８】
周波数スペクトル算出手段６は、時間の関数として表現される前記特定の部位の速度のベクトルの前記水平軸方向の成分と前記鉛直軸方向の成分をそれぞれフーリエ変換して、周波数スペクトルを算出する手段である。
【００４９】
評価関数算出手段７は、前記周波数スペクトルに基づいて、後述する評価関数を算出する手段である。
【００５０】
評価関数記憶手段８は、特定人の歩行画像から算出した前記特定人の前記評価関数を記憶する手段である。ここで、特定人とは、例えば特定の場所への入場が許される人物として個人識別装置１に登録される人物である。
【００５１】
ユークリッド距離算出手段９は、識別対象である歩行者について、評価関数算出手段７で算出した評価関数と記憶手段８から読み出した前記特定人の評価関数の間のユークリッド距離を算出する手段である。
【００５２】
同一性判断手段１０は前記ユークリッド距離に基づいて、前記歩行者と前記特定人の同一性判断を行う手段である。
【００５３】
また、動作軌跡作成手段３、速度算出手段４、速度分解手段５、周波数スペクトル算出手段６、評価関数算出手段７、ユークリッド距離算出手段９および同一性判断手段１０は、コンピュータにプログラムすることで実現できるが、専用のハードウェアを作成してもよい。
【００５４】
個人識別装置１によって実行される個人識別方法を概説すると次のようになる。
【００５５】
（第１のステップ）歩行者の歩行動作を異なる場所から同時に撮影した２以上の動画像から前記歩行者の特定の部位の位置を抽出し、前記２以上の画像における前記位置の画面内でのずれに基づいて、前記特定の部位の３次元座標を算出して、前記３次元座標を時系列に配列して、前記歩行者の特定の部位の動作軌跡を算出する（動作軌跡作成手段３で実行されるステップである）。
【００５６】
（第２のステップ）前記動作軌跡を時間微分して、前記歩行者の特定の部位の速度を算出する（速度算出手段４で実行されるステップである）。
【００５７】
（第３のステップ）前記歩行者の特定の部位の速度を鉛直方向と進行方向の成分に分解する（速度分解手段５で実行されるステップである）。
【００５８】
（第４のステップ）前記速度の時間変化にフーリエ変換を行い、周波数スペクトルを求める（周波数スペクトル算出手段６で実行されるステップである）。
【００５９】
（第５のステップ）前記周波数スペクトルの評価関数を求める（評価関数算出手段７で実行されるステップである）。
【００６０】
（第６のステップ）事前に特定人について、前記第１ないし第５のステップを実行して評価関数記憶手段８に記憶しておいた前記特定人の評価関数と前記歩行者の評価関数の間のユークリッド距離を算出する（ユークリッド距離算出手段９で実行されるステップである）。
【００６１】
（第７のステップ）前記ユークリッド距離に基づいて、前記歩行者と特定人の同一性を判断する（同一性判断手段１０で実行されるステップである）。
【００６２】
次に、前記第１ないし第７のステップについて詳細に説明する。
【００６３】
（第１のステップ）
図２は、特定人および検出対象の歩行画像の説明図である。図２において、１１は歩行動作を撮影した生のビデオ画像である。図では、画面奥から手前に歩いてくる人物を斜め前から撮影しているが、ビデオカメラの位置と距離はこれに限られない。１２は前記ビデオ画像をコンピュータで解析して、人体の各部位の３次元座標を求め、この各部位の３次元座標に基づいて人体の姿勢を線図に置き換えた画像である。１３は、人体の姿勢を示す線図を拡大したものである。
【００６４】
ここで、３次元座標を求める人体の各部位とは、左右の肩、肘、手首、腰、股関節、膝、足首、かかと、つま先、および頭の１９点であり、ビデオ撮影の際に、人物の体の該当部分にマークを貼付して、このマークを２台のビデオカメラで撮影すると、２台のビデオカメラの位置が異なるから、マークの画像内での位置にずれが生じる、前記２台のビデオカメラの位置を事前に計測しておけば、このずれからマークの３次元座標を決定することができる。こうして得られたマークの３次元座標を時系列に配列すれば、マークの動作軌跡が得られる。
【００６５】
（第２のステップ）
前述したように、本発明の個人識別方法は１９点の各部位のいずれか１点あるいは複数点の組み合わせ、あるいは全ての点を基準に実施できるが、ここでは左右の足首の動きを基準に識別する方法を例に取って説明する。
【００６６】
左右の足首の動作軌跡Ｐ１（ｔ）、Ｐ２（ｔ）を下式で表すことにする。
【００６７】
Ｐ１（ｔ）＝（ｘ１（ｔ），ｙ１（ｔ），ｚ１（ｔ））Ｔ
Ｐ２（ｔ）＝（ｘ２（ｔ），ｙ２（ｔ），ｚ１（ｔ））Ｔ
ただし、ｔ（＝０，１，２‥‥Ｎ）はビデオ画像のフレーム番号である。
【００６８】
フレーム番号ｔにおける３次元座標Ｐ１（ｔ）、Ｐ２（ｔ）とフレーム番号ｔ−１における３次元座標Ｐ１（ｔ−１）、Ｐ２（ｔ−１）の間の変位ベクトルＸ１（ｔ）、Ｘ２（ｔ）は下式で与えられる。実行されるステップである。
【００６９】
Ｘ１（ｔ）＝Ｐ１（ｔ）−Ｐ１（ｔ−１）
Ｘ２（ｔ）＝Ｐ２（ｔ）−Ｐ２（ｔ−１）
【００７０】
ビデオ画像の各フレームは、一定の時間間隔で撮影されるから、フレーム番号ｔにおける左右の足首の速度は前記変位ベクトルＸ１（ｔ）、Ｘ２（ｔ）で近似できる。
【００７１】
（第３のステップ）
次に、フレーム番号ｔにおける人物の進行方向を示す水平軸と地面に対して垂直な鉛直軸で定義される２次元平面に前記変位ベクトルＸ１（ｔ）、Ｘ２（ｔ）を投影して、ベクトルＹ１（ｔ）、Ｙ２（ｔ）を求める。ベクトルＹ１（ｔ）、Ｙ２（ｔ）は前記水平軸方向および前記鉛直軸方向の成分を使って、下式のように表すことができる。
【００７２】
Ｙ１（ｔ）＝（ｈ１（ｔ），ｖ１（ｔ））Ｔ
Ｙ２（ｔ）＝（ｈ２（ｔ），ｖ２（ｔ））Ｔ
【００７３】
さて、ｈ１（ｔ），ｈ２（ｔ），ｖ１（ｔ），ｖ２（ｔ）は、フレーム番号ｔ−１とフレーム番号ｔの間の左右の足首の水平方向（進行方向）および鉛直方向の変位だから、フレーム番号ｔにおける左右の足首の水平方向（進行方向）速度はｈ１（ｔ）およびｈ２（ｔ）で近似され、鉛直方向速度はｖ１（ｔ）およびｖ２（ｔ）で近似される。したがって、各フレームについて、ｈ１（ｔ），ｈ２（ｔ），ｖ１（ｔ），ｖ２（ｔ）を求めると、左右の足首の水平方向（進行方向）速度および鉛直方向速度の時間変化を知ることができる。
【００７４】
（第４のステップ）
図３は、横軸にビデオ画像のフレーム番号を取り、縦軸に変位の大きさを取って、フレーム番号と変位h１（ｔ），ｈ２（ｔ），ｖ１（ｔ），ｖ２（ｔ）の関係を示したグラフである。このグラフの横軸を時間、縦軸を速度と考えれば、左右の足首の水平方向（進行方向）速度および鉛直方向速度の時間変化を示すグラフとして見ることもできる。このグラフからも解るように、人間の歩行動作は左右の足を交互に前に出す動作だから、左右の足首の速度は周期的に変化する。そこで、変位h１（ｔ），ｈ２（ｔ），ｖ１（ｔ），ｖ２（ｔ）について、フーリエ変換を行い左右の足の速度の周波数スペクトルを求めることにした。なお、周波数をωとすると、時間ｔの関数ｘ（ｔ）の周波数スペクトルＸ（ω）は、次の式で与えられる。
【００７５】
【数７】
2006136430.tif 000009
【００７６】
本明細書では、変位h１（ｔ），ｈ２（ｔ），ｖ１（ｔ），ｖ２（ｔ）の周波数スペクトルをＨ１（ω），Ｈ２（ω），Ｖ１（ω），Ｖ２（ω）で表すことにする。
【００７７】
（第５のステップ）  
本実施例では、周波数スペクトルＸ（ω）の関数Ｓ１（Ｘ（ω））、Ｓ２（Ｘ（ω））およびＳ３（Ｘ（ω））ならびにこれらの積を評価関数として用いる。関数Ｓ１（Ｘ（ω））、Ｓ２（Ｘ（ω））、Ｓ３（Ｘ（ω））は、下式で定義される。
【００７８】
【数８】
2006136430.tif 000010
【００７９】
なお、Ｓ１（Ｘ（ω））、Ｓ２（Ｘ（ω））およびＳ３（Ｘ（ω））は、それぞれ、マグニチュードスペトクル（magnitude spectrum）、位相スペクトル（phase spectrum）および位相重み付きマグニチュードスペクトル（phase-weighted magnitude spectrum）と呼ばれる関数である。
【００８０】
（第６のステップ）
次に、事前に特定人の歩行動作について、第１ないし第５のステップを実行して算出して記憶手段８に記憶しておいた特定人の評価関数と認識対象の歩行者と間のユークリッド
距離を算出する。
【００８１】
（第７のステップ）
最後に、前記ユークリッド距離に基づいて、前記歩行者と特定人の同一性を判断する。
具体的には次のような手順を使用する。例えば、特定人Ａ、Ｂ、Ｃ‥‥Ｚの評価関数と識別対象の評価関数のユークリッド距離を求めて、例えば、特定人Ａの評価関数が識別対象の評価関数の最近傍にあった場合に、認識対象と特定人Ａが同一人物であると判断する。また、一定の閾値を定め、識別対象の評価関数と最近傍の特定人の評価関数のユークリッド距離がこの閾値を超えた場合は「識別対象は特定人Ａ、Ｂ、Ｃ‥‥Ｚのいずれにも該当しない」と判断する。
【００８２】
あるいは、ｋ近傍法（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｍｅｔｈｏｄ）を用いて、つぎのような手法で判断してもよい。
事前に特定人Ａ、Ｂ、Ｃ‥‥Ｚの歩行画像の撮影をＮ回繰り返して、特定人一人当たりＮ個の評価関数を算出して、評価関数記憶手段８に記憶しておく。したがって、評価関数記憶手段８には特定人Ａ、Ｂ、Ｃ‥‥Ｚの人数のＮ倍の評価関数が記憶される。このような複数の特定人の複数の評価関数と認識対象の歩行者の評価関数のユークリッド距離を全て算出して、その値が最小になるものから順にｋ個の評価関数を求める。つまり、識別対象の歩行者の評価関数の近傍にある評価関数をｋ個求める訳である。このｋ個の評価関数がどの特定人のものであるかを調べ、多数決で決定する。例えば、識別対象の評価関数の最近傍にある評価関数を順に５個選んだ場合に、３個が特定人Ｂであり、２個が特定人Ｃであったら、識別対象は特定人Ｂであると判断する。この場合も、一定の閾値を定め、識別対象の評価関数と特定人の評価関数のユークリッド距離がこの閾値を超えた場合は「識別対象は特定人Ａ、Ｂ、Ｃ‥‥Ｚのいずれにも該当しない」と判断する。
【００８３】
（実験）
前述の評価関数の妥当性を検討する為に次のような実験を行った。
【００８４】
（１）１２名の被験者（男性１１名、女性１名）を、それぞれ２０回歩かせ、一人当たり２０件の歩行画像を得た。
【００８５】
（２）前記歩行画像から、下記の２１種の評価関数を求めた。なお、前記評価関数は周波数スペクトルの帯域幅を、２次の高調波、４次の高調波および８次の高調波までとした場合の３通りについて求めた。なお、前記歩行画像のサンプリング率は６０ｆｐｓであり、６４サンプルのデータブロックを用いて離散フーリエ変換をおこなったので、周波数解像度は６０／６４≒０．９４である。
Ｓ１（Ｈ１（ω））
Ｓ１（Ｈ１（ω））Ｓ１（Ｈ２（ω））
Ｓ１（Ｖ１（ω））
Ｓ１（Ｈ１（ω））Ｓ１（Ｖ１（ω））
Ｓ１（Ｈ１（ω））Ｓ１（Ｈ２（ω））Ｓ１（Ｖ１（ω））
Ｓ１（Ｈ１（ω））Ｓ１（Ｖ１（ω））Ｓ１（Ｈ２（ω））Ｓ１（Ｖ２（ω））
Ｓ１（Ｈ１（ω））Ｓ１（Ｖ１（ω））Ｓ１（Ｖ２（ω））
Ｓ２（Ｖ１（ω））
Ｓ２（Ｖ１（ω））Ｓ２（Ｖ２（ω））
Ｓ２（Ｈ１（ω））
Ｓ２（Ｈ１（ω））Ｓ２（Ｖ１（ω））
Ｓ２（Ｈ１（ω））Ｓ２（Ｈ２（ω））
Ｓ２（Ｈ１（ω））Ｓ２（Ｖ１（ω））Ｓ２（Ｖ２（ω））
Ｓ２（Ｈ１（ω））Ｓ２（Ｖ１（ω））Ｓ２（Ｈ２（ω））Ｓ２（Ｖ２（ω））
Ｓ３（Ｖ１（ω））
Ｓ３（Ｈ１（ω））
Ｓ３（Ｈ１（ω））Ｓ３（Ｖ１（ω））
Ｓ３（Ｈ１（ω））Ｓ３（Ｈ２（ω））Ｓ３（Ｖ１（ω））
Ｓ３（Ｖ１（ω））Ｓ３（Ｖ２（ω））
Ｓ３（Ｈ１（ω））Ｓ３（Ｖ１（ω））Ｓ３（Ｖ２（ω））
Ｓ３（Ｈ１（ω））Ｓ３（Ｖ１（ω））Ｓ３（Ｈ２（ω））Ｓ３（Ｖ２（ω））
【００８６】
（３）各評価関数について、１２×２０＝２４０個の関数値が得られるので、その内の１個と他の２３９個について、前述のｋ近傍法（ｋ＝５）を適用して、正答率を求めた。
【００８７】
図４は、前記２１個の評価関数に３種の帯域幅を組み合わせた、６３通りの場合の正答率を比較したグラフである。このグラフから次のことが言える。
【００８８】
（１）一般に、マグニチュードスペクトル（Ｓ１（Ｘ（ω））は位相スペクトル（Ｓ２（Ｘ（ω）、および位相重み付きマグニチュードスペクトル（Ｓ３（Ｘ（ω））に比べて正答率が高い。
【００８９】
（２）周波数帯域幅を広くすると、正答率が高くなる。
【００９０】
（３）異なる部位または方向の速度の周波数スペクトルの評価関数の積を取ると、正答率が高くなる。
【００９１】
評価関数は、演算時間（識別に要する時間）と正答率とのトレードオフによって、識別の目的に合わせて最適な物を選べばよい。また、前述の評価関数は例示であって、種々変形して使用してもよい。また、「識別対象は特定人Ａ、Ｂ、Ｃ‥‥Ｚのいずれにも該当しない」旨を判断するための閾値は、実験によって最適な値を決定すればよい。
【実施例２】
【００９２】
実施例２の基本的な構成は、前述の実施例１と共通するが、使用する評価関数のみが異なるので、基本的な構成については省略して、評価関数についてのみ説明する。
【００９３】
（評価関数）  
本実施例では、周波数スペクトルＸ（ω）,Ｙ（ω）の関数Ｔ１（Ｘ（ω）, Ｙ（ω））、Ｔ2（Ｘ（ω）, Ｙ（ω））およびＴ3（Ｘ（ω）, Ｙ（ω））ならびにこれらの積を評価関数として用いる。関数Ｔ１（Ｘ（ω）, Ｙ（ω））、Ｔ2（Ｘ（ω）, Ｙ（ω））およびＴ3（Ｘ（ω）, Ｙ（ω））は、下式で定義される。
【００９４】
【数９】
2006136430.tif 000011
【００９５】
関数Ｔ１（Ｘ（ω）, Ｙ（ω））、Ｔ2（Ｘ（ω）, Ｙ（ω））およびＴ3（Ｘ（ω）, Ｙ（ω））は、下式のように書き直すことができる。
【００９６】
【数１０】
2006136430.tif 000012
【００９７】
上式からわかるように、関数Ｔｎ（Ｘ（ω）, Ｙ（ω））は、関数Ｓｎ（Ｘ（ω））と関数Ｓｎ（Ｙ（ω））の幾何平均である。
【００９８】
（実験）
前述の評価関数の妥当性を検討する為に、実施例１で説明した実験で取得した歩行画像から、下記の１９種の評価関数を求め、実施例１と同様に、正答率を求めた。
Ｔ１（Ｈ１（ω），Ｖ１（ω））
Ｔ１（Ｈ１（ω），Ｈ２（ω））
Ｔ１（Ｈ１（ω），Ｖ１（ω））Ｔ１（Ｈ２（ω），Ｖ２（ω））
Ｔ１（Ｈ１（ω），Ｈ２（ω））Ｔ１（Ｖ１（ω），Ｖ２（ω））Ｔ１（Ｈ１（ω），Ｖ１（ω））
Ｔ１（Ｈ１（ω），Ｖ２（ω））Ｔ１（Ｈ２（ω），Ｖ１（ω））
Ｔ１（Ｈ１（ω），Ｈ２（ω））Ｔ１（Ｖ１（ω），Ｖ２（ω））
Ｔ１（Ｖ１（ω），Ｖ２（ω））
Ｔ２（Ｈ１（ω），Ｖ１（ω））
Ｔ２（Ｖ１（ω），Ｖ２（ω））
Ｔ２（Ｈ１（ω），Ｖ１（ω））Ｔ２（Ｈ２（ω），Ｖ２（ω））
Ｔ２（Ｈ１（ω），Ｈ２（ω））
Ｔ２（Ｈ１（ω），Ｈ２（ω））Ｔ２（Ｖ１（ω），Ｖ２（ω））
Ｔ３（Ｈ１（ω），Ｈ２（ω））Ｔ２（Ｖ１（ω），Ｖ２（ω））Ｔ２（Ｈ１（ω），Ｖ１（ω））
Ｔ３（Ｈ１（ω），Ｖ１（ω））
Ｔ３（Ｈ１（ω），Ｈ２（ω））
Ｔ３（Ｖ１（ω），Ｖ２（ω））
Ｔ３（Ｈ１（ω），Ｈ２（ω））Ｔ３（Ｖ１（ω），Ｖ２（ω））
Ｔ３（（Ｈ１（ω），Ｖ１（ω））Ｔ２（Ｈ２（ω），Ｖ２（ω））
Ｔ３（Ｈ１（ω），Ｈ２（ω））Ｔ２（Ｖ１（ω），Ｖ２（ω））Ｔ２（Ｈ１（ω），Ｖ１（ω））
【００９９】
図５は、前記１９個の評価関数に３種の帯域幅を組み合わせた５７通りの場合の正答率を比較したグラフである。このグラフから次のことが言える。
【０１００】
（１）一般に、マグニチュードスペクトルの幾何平均（Ｔ１（Ｘ（ω））は位相スペクトルの幾何平均（Ｔ２（Ｘ（ω））、および位相重み付きマグニチュードスペクトルの幾何平均（Ｔ３Ｘ（ω））に比べて正答率が高い。
【０１０１】
（２）周波数帯域幅を広くすると、正答率が高くなる。
【０１０２】
（３）異なる部位または方向の速度の周波数スペクトルの評価関数の積を取ると、正答率が高くなる。特に、左右の足首の水平速度のmagnitude spectrumの幾何平均と鉛直速度のmagnitude spectrumの幾何平均を用いると正答率が向上する。
【０１０３】
前述の実験では、歩行画像のサンプリング率を６０ｆｐｓとしたが、サンプリング率が
正答率に与える影響を検証するために、サンプリング率を７．５ｆｐｓ、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓとした場合の正答率を下記の評価関数について比較した。
Ｔ１（Ｖ１（ω），Ｖ２（ω））
Ｔ３（Ｈ１（ω），Ｈ２（ω））Ｔ３（Ｖ１（ω），Ｖ２（ω））
【０１０４】
図６は、サンプリング率を変化させた場合の上記の２つの評価関数についての正答率の変化を示すグラフである。図から明らかなように、サンプリング率を小さくすると正答率も低下する。特に、サンプリング率を１５ｆｐｓから７．５ｆｐｓに下げると、正答率は大幅に減少する。しかし、サンプリング率を６０ｆｐｓから１５ｆｐｓの間では、正答率の変化はあまり大きくない。したがって、サンプリング率は６０ｆｐｓから１５ｆｐｓの間で合目的的な値を選択すればよい。
【０１０５】
なお、実施例では異なる場所に配置した２台のビデオカメラで同時に撮像した２個の動画像から歩行者の体の特定の部位の３次元座標を算出したが、ビデオカメラと歩行者の位置関係や、評価関数の種類を限定すれば、１台のビデオカメラで撮影した１個の動画像から歩行者を識別することも可能である。例えば、狭隘な直線通路のように、歩行者の進行方向が前記直線通路に沿った方向に限定される場所であれば、１台のビデオカメラで歩行者の真横（歩行者の進行方向に直角な方向）から歩行動作を撮像した１個の動画像から、歩行者の体の進行方向および鉛直方向の速度を算出することが可能である。歩行者の体の鉛直方向の速度だけに着目するのであれば、１台のビデオカメラで任意の方向から撮像した１個の動画像から鉛直方向の速度を算出することができる。
【０１０６】
また、実施例では歩行者の身体の部位を抽出するのに、各部位に取り付けたマークに依ったが、動画像中の歩行者の身体の形状や動きの特徴から、特定の部位を抽出すれば、前記マークは不要である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の個人識別装置の構成を示すブロック図である。
【図２】歩行画像の説明図である。
【図３】フレーム番号と変位の関係を示したグラフである。
【図４】評価関数別の正答率を比較したグラフである。
【図５】評価関数別の正答率を比較したグラフである。
【図６】サンプリング率の変化による正答率の変化を示すグラフである。
【符号の説明】
【０１０８】
１  個人識別装置
２  ビデオカメラ
３  動作軌跡作成手段
４  速度算出手段
５  速度分解手段
６  周波数スペクトル算出手段
７  評価関数算出手段
８  評価関数記憶手段
９  ユークリッド距離算出手段
１０  同一性判断手段
１１  歩行動作を撮影した生のビデオ画像
１２  人体の姿勢を線図に置き換えた画像
１３  人体の姿勢を示す線図の拡大画像
【図１】
2006136430.tif 000019
【図２】
2006136430.tif 000020
【図３】
2006136430.tif 000021
【図４】
2006136430.tif 000022
【図５】
2006136430.tif 000023
【図６】
2006136430.tif 000024