(57)【要約】【課題】複数のカメラから獲得された複数の人物の認識を行うことができる人物認識装置を提供する。【解決手段】顔画像獲得部１０１、カメラ内の顔画像対応付け部１０２、カメラ間の断片動画像対応付け部１０３、個人識別部１０４、辞書動画像格納部１０５からなり、廊下に３台のカメラを設置し、これらカメラで１箇所を監視し、この監視範囲を複数の歩行者が通過する場合に、これら歩行者の個人識別を行うものであり、３台のカメラにおいて顔画像を人物毎に対応付けし断片動画像をそれぞれ生成し、カメラ間で断片動画像を対応付け、個人識別を行う。【選択図】      図１
2007317062.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識装置において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得手段と、
前記カメラ毎に前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成するカメラ内顔画像対応付け手段と、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けて、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納手段と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別手段と、
を具備する
ことを特徴とする人物認識装置。
【請求項２】
前記カメラ内顔画像対応付け手段と前記カメラ間断片画像列対応付け手段は、前記顔画像間のパターンマッチングで前記対応付けをそれぞれ行う
ことを特徴とする請求項１記載の人物認識装置。
【請求項３】
前記顔画像獲得手段は、前記顔画像における顔の大きさ、顔向き、または、照明条件を正規化して、正規化した顔画像を生成する
ことを特徴とする請求項２記載の人物認識装置。
【請求項４】
前記顔画像に時間情報が付加され、
前記カメラ内顔画像対応付け手段は、この時間情報に基づいて、新たに獲得された顔画像とこれまで蓄積された断片画像列とを、前記人物毎に対応付けする
ことを特徴とする請求項２記載の人物認識装置。
【請求項５】
前記顔画像に時間情報が付加され、
前記カメラ間の断片画像列対応付け手段は、この時間情報に基づいて、新たに獲得された断片画像列とこれまで蓄積された断片画像列とを、前記人物毎に対応付けする
ことを特徴とする請求項２記載の人物認識装置。
【請求項６】
前記カメラ内顔画像対応付け手段は、前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成した後、さらに、これら生成した人物毎の断片画像列の間で類似度が高い断片画像列を一人の人物の断片画像列として対応付ける
ことを特徴とする請求項１記載の人物認識装置。
【請求項７】
前記統合画像列を用いて前記人物の属性情報を抽出して記憶する属性判定手段と、
前記属性判定手段に記憶されている属性情報を検索する人物属性探索手段と、
を具備した
ことを特徴とする請求項１記載の人物認識装置。
【請求項８】
前記統合画像列を用いて前記人物の行動履歴を抽出して記憶する行動履歴抽出手段と、
前記行動履歴抽出手段に記憶されている行動履歴を検索する行動履歴検索手段と、
を具備した
ことを特徴とする請求項１記載の人物認識装置。
【請求項９】
複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識方法において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得し、
前記カメラ毎に前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成し、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けて、前記人物毎の統合画像列を生成し、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納し、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する
ことを特徴とする人物認識方法。
【請求項１０】
複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別をコンピュータによって行う人物認識プログラムにおいて、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得機能と、
前記カメラ毎に前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成するカメラ内顔画像対応付け機能と、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けて、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け機能と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納機能と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別機能と、
を実現する
ことを特徴とする人物認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
複数のカメラを用いて、複数の歩行者の顔を撮影した動画像から個人識別を行う人物認識装置及びその方法に関するものである。
【背景技術】
【０００２】
複数のカメラで複数の歩行者の個人識別を行うため、動画像から検出された顔画像を各カメラにおいて人物毎に追跡処理し、獲得された顔画像の集合からベストショットの顔画像を選択する方法が特許文献１で提案されている。
【０００３】
この方法においては、ベストショットを選択するために顔の大きさ、向き、照明条件など顔画像の状態を推定する。
【特許文献１】特開２００５−２２７９５７公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記方法では、歩行者が自由に通過する場合、カメラと顔が正対していない場合が発生し、必ずしもベストショットの条件に達する顔画像が得られるとは限らない。また、追跡処理を行うためには、複数の人物に対して検出と追跡の状態遷移と顔の隠れという難しい問題点を考える必要がある。そのため、特許文献１のように、一定時間内に一定範囲に顔画像が存在するという条件だけでは解決できない。さらに、カメラのフレームレートが低い場合、追跡処理が破綻する場合が発生する。
【０００５】
そこで、本発明では、上記問題点に鑑み、正面向きの顔画像が獲得できなくとも、複数のカメラから獲得された複数の人物の認識を行うことができる人物認識装置及びその方法を提供する。
【課題を解決するための手段】
【０００６】
本発明は、複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識装置において、前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得手段と、前記カメラ毎に前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成するカメラ内顔画像対応付け手段と、前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けて、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納手段と、前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別手段と、を具備することを特徴とする人物認識装置である。
【発明の効果】
【０００７】
本発明によれば、人物の正面向きの顔画像が獲得できなくとも、入力の段階で顔の見え方の変動を人物毎に獲得できるため、画像列を用いた識別方法の効果が発揮され、高い識別性能を得ることができる。
【発明を実施するための最良の形態】
【０００８】
（実施形態の概念）
具体的な実施形態を述べる前に、その概念について説明する。
【０００９】
本実施形態では、１枚の顔画像だけを入力に用いるのではなく、複数のカメラから獲得された同一人物の時系列の顔画像を一つの画像列、すなわち、動画像として統合し、顔の見え方の変動を獲得した上で個人識別を行う。
【００１０】
例えば、複数のカメラで複数の歩行者を図６のように同時に捉え照合を行う場合、同時刻に同じ場所を歩く人物間での顔画像の対応付け問題に帰着できる。そこで、カメラ内とカメラ間での顔の対応付けを、画像間のパターンマッチングに基づく方法で行う。図７のように、最初に各カメラにおいて人物毎に対応付けることで断片動画像（すなわち、断片画像列）を生成し、次に、カメラ間において断片動画像を対応付ける。このような対応付けは、選択された１枚の顔画像で個人識別を行う場合に比べて、追跡処理を必要とせず、図８のように、照明、顔の向き、特に人数の影響を抑えた上で処理することができる。
【００１１】
本発明の各実施形態では、最初に各カメラにおいて顔画像を対応付け、断片動画像を生成する。
【００１２】
次に、カメラ間で断片動画像を対応付けし、個人識別で用いる統合動画像（すなわち、統合画像列）を生成する。
【００１３】
断片動画像Xｌを式（１）で定義する。
【数１】
2007317062.tif 000003
【００１４】
ここで、ｘは１枚の顔画像、Ｍ１は顔画像に対してラベルを返す関数、ｌは断片動画像に付けられたラベル、Ｎは獲得された顔画像の枚数を表す。関数Ｍ１については第１の実施形態で述べる。次に、統合動画像Ｘを式（２）で定義する。
【数２】
2007317062.tif 000004
【００１５】
ここで、Ｍ２は断片動画像に対してラベルを返す関数、ｋは統合された動画像に付けられたラベル、Ｍは獲得された断片動画像の個数を表す。関数Ｍ２については第１の実施形態で述べる。図９に、３台のカメラの下で、二人の人物画歩行したときの段階的に対応付けされる流れを示す。
【００１６】
以下では、第１の実施形態として、各カメラにおいて顔画像を人物毎に対応付けし断片動画像を生成し、次にカメラ間で断片動画像を対応付けて個人識別を行う装置について述べる。
【００１７】
第２の実施形態として、各カメラにおいて断片動画像を対応付ける処理を第１の実施形態に加えた装置について述べる。
【００１８】
第３の実施形態として、性別などの人物属性を抽出する処理を第１の実施形態に加えた装置について述べる。
【００１９】
第４の実施形態として、どのカメラの前を通過したかという歩行者の行動履歴を残す処理を第１の実施形態に加えた装置について述べる。
【００２０】
（第１の実施形態）
以下、本発明の第１の実施形態の人物認識装置１００について図１と図２に基づいて説明する。本実施形態の人物認識装置１００では、図６に示すように、廊下に複数台（例えば、３台）のカメラを設置し、これらカメラで１箇所を監視する。そして、この監視範囲を複数の歩行者（例えば、男性と女性が１人づつ）が通過する場合に、これら歩行者の個人識別を行うものである。そのために、図７の丸数字１に示すように、３台のカメラにおいて顔画像を人物毎にカメラ内で対応付けし断片動画像をそれぞれ生成する。次に、図７の丸数字２に示すように、カメラ間で断片動画像を対応付ける。最後に、図７の丸数字３に示すように、個人識別を行う。
【００２１】
（１）人物認識装置１００の構成
図１は、人物認識装置１００の構成を示す。
【００２２】
人物認識装置１００は、顔画像獲得部１０１、カメラ内の顔画像の対応付けを行う顔画像対応付け部１０２、カメラ間の顔画像の対応付けを行う断片動画像対応付け部１０３、個人識別部１０４、辞書動画像格納部１０５からなる。これら各部１０１〜１０５の機能は、コンピュータに記憶されたプログラムによって実現できる。
【００２３】
（２）人物認識装置１００の処理
図２は、人物認識装置１００の処理のフローチャートを示す。
【００２４】
（２−１）顔画像獲得部１０１
顔画像獲得部１０１は、カメラ（例えば、ビデオカメラ）から出力された時系列の画像から顔領域を検出し、正規化した時系列の顔画像ｘを生成する（図２のステップ２０１）。なお、顔画像獲得部１０１はカメラの個数だけ存在する。
【００２５】
正規化した時系列の顔画像ｘを生成することで、識別に有効な顔画像の解像度、カメラ位置の違いによる相対的な顔向きの変化、歩行による相対的な照明条件変化の問題を緩和できる。このため、例えば、（ｉ）一定以上の解像度を持つ顔領域に対して顔の特徴点を検出し、（ｉｉ）３次元形状モデルを用いて顔向き正規化を適用し、（ｉｉｉ）照明条件に影響されない拡散反射率の比を抽出する照明正規化を適用する。（ｉ）では、例えば、カメラから獲得された画像に対して顔検出を行い、一定の大きさ以上であれば瞳や鼻腔などの顔の特徴点を検出する。（ｉｉ）では、例えば、検出された特徴点と３次元の平均顔形状上の特徴点とを対応付けてから、顔の向きを正面へ補正する。（ｉｉｉ）では、顔向きが補正された画像に対して、例えば、各画素の照明条件や反射特性の違いを考慮して重み付きガウシアンフィルタに与える重みを決定し、フィルタ処理を適用することで拡散反射率の比を抽出する。
【００２６】
ここで「照明条件」とは、照明の向き、照明の明るさ（すなわち、照度）、照明の種類（照明が点光源、線光源、または、面光源）を意味する。
【００２７】
（２−２）顔画像対応付け部１０２
顔画像対応付け部１０２は、顔画像獲得部１０１から出力された現時刻の顔画像ｘを、現時刻までに蓄積されたカメラ内の断片動画像と対応付け、新たな断片動画像を生成する（図２のステップ２０２）。なお、顔画像対応付け部１０２はカメラの個数だけ存在する。
【００２８】
これらカメラ内の対応付けを行うために、顔画像ｘが獲得される毎に関数Ｍ１でラベルを判定する。同じラベルをもつ断片動画像Ｘに加える。一定の時間Ｔ１以上新たな顔画像が追加されなかった断片動画像Ｘは通過した人物と判定し、カメラ間の断片動画像対応付け部１０３へ出力される（図２のステップ２０３）。
【数３】
2007317062.tif 000005
【００２９】
単純類似度は、Ｓｓｉｍｐｌｅ＝ｃｏｓ２θで定義される。θは、顔画像をラスタースキャンすることで変換されたベクトル同士のなす角度を表す。他の方法として、断片動画像から生成した部分空間を用いた部分空間法を適用してもよい。
【００３０】
関数Ｍ１は、閾値Ｓ１を越え最も高い類似度が算出された断片動画像のラベルを返す。また、算出された全ての類似度がＳ１未満の場合、新たな人物が現れたと判定し、新たなラベルを返す。対応付ける断片動画像が１個も蓄積されていない場合も新たなラベルを返す。
【００３１】
（２−３）断片動画像対応付け部１０３
断片動画像対応付け部１０３は、カメラ内の顔画像対応付け部１０２から出力された断片動画像Ｘと、現時刻までに蓄積された各カメラの断片動画像をカメラ間で対応付け、統合動画像を生成する（図２のステップ２０４）。
【００３２】
これらカメラ間の対応付けを行うために、Ｘのラベルを関数Ｍ２で判定する。同じラベルをもつ断片的な動画像Ｘ，Ｘ´を統合し、新たな断片動画像を生成する。一定の時間Ｔ２を経過した断片動画像は対応付けが終了したと判断し、統合動画像Ｘとして個人識別部１０４へ出力する（図２のステップ２０５）。
【００３３】
関数Ｍ２は、断片動画像間の類似度Ｓ´でラベルを決定する。Ｓ´を算出するために、例えば、動画像同士を比較できる直交相互部分空間法（ＯＭＳＭ：Ｏｒｔｈｏｇｏｎａｌ  Ｍｕｔｕａｌ  Ｓｕｂｓｐａｃｅ  Ｍｅｔｈｏｄ）を用いる（特開２００５−１４１４３７公報参照）。ＯＭＳＭは、相互部分空間法の前処理として、人物間における顔の見え方変動の差を強調する線形変換Ｏを用いる。ＯＭＳＭを適用するために、Ｘに対して主成分分析を適用し部分空間を生成する。Ｏで線形変換された二つの部分空間をＰ，Ｑとすると、ＰとＱとの間の類似度Ｓは、正準角と呼ばれる２つの部分空間がなす角度θにより式（４）で決定される。
【００３４】
Ｓ´＝ｃｏｓ２θ      （４）
閾値Ｓ２を越え最も高いＳ´が算出された断片動画像のラベルを返す。また、算出された全てのＳ´がＳ２未満の場合は、新たなラベルを返す。
【００３５】
（２−４）個人識別部１０４
個人識別部１０４は、カメラ間の断片動画像対応付け部１０３から出力された統合動画像Ｘと辞書動画像格納部１０６に格納されている各人物の辞書動画像（すなわち、辞書画像列）とを、ＯＭＳＭを用いて比較し、個人識別を行う（図２のステップ２０６）。
【００３６】
（３）効果
人物認識装置１００は、画像間のパターンマッチングに基づく顔認識の方法のみで行う。これは、厳密なカメラキャリブレーションを行い、人物の３次元位置を追跡し対応付けを行う従来方法と比べて、キャリブレーションが必要ないためシステムを導入するための時間や費用を抑えることができる。
【００３７】
また、本実施形態では、位置情報を用いず画像間のパターンマッチングのみで対応付けを行うため低フレームレートのカメラにも対応できる。
【００３８】
（第２の実施形態）
以下、本発明の第２の実施形態の人物認識装置３００について図３に基づいて説明する。本実施形態は、各カメラにおいて断片動画像を対応付ける処理を第１の実施形態に加えたものである。同一人物であるにも関わらず、顔の見え方の変動に影響され対応付けが失敗し、同一カメラ内で複数の断片動画像が発生する場合がある。そのような発生を防止するために、この断片動画像をカメラ間の対応付けの前にカメラ内で対応付けることにある。
【００３９】
図３に人物認識装置３００の構成を示す。
【００４０】
人物認識装置３００は、顔画像獲得部３０１、カメラ内の顔画像対応付け部３０２、カメラ内の断片動画像対応付け部３０３、カメラ間の断片動画像対応付け部３０４、個人識別部３０５、辞書動画像格納部３０６からなる。
【００４１】
なお、顔画像獲得部３０１は顔画像獲得部１０１、カメラ間の断片動画像対応付け部３０４はカメラ間の断片動画像対応付け部１０３、個人識別部３０５は個人識別部１０４、辞書動画像格納部３０６は辞書動画像格納部１０５と同じ処理を行う。
【００４２】
顔画像対応付け部３０２は、顔画像対応付け部１０２と同じ処理を行うが、生成された断片動画像Ｘの出力先が異なる。一定の時間Ｔ１以上新たな顔画像が追加されなかったＸは、カメラ内の断片動画像対応付け部３０３へ出力される。
【００４３】
カメラ内の断片動画像対応付け部３０３は、カメラ内の顔画像対応付け部３０２から出力された断片動画像Ｘと、現時刻までに蓄積された断片動画像を同一カメラ内で対応付け、断片動画像を更新する。この対応付けに用いられるラベルを返す関数は、Ｍ２と同じ枠組みを用いればよい。同一人物の分かれた断片動画像をカメラ内で先に対応付けることで、その後に続くカメラ間の対応付けの性能が向上し、最終的な識別性能が向上する。
【００４４】
（第３の実施形態）
以下、本発明の第３の実施形態の人物認識装置４００について図４に基づいて説明する。本実施形態は、性別など人物属性を抽出する処理を第１の実施形態に加えた装置について述べる。この処理の目的は、顔画像を辞書としてシステムに登録していない歩行者が通過した場合に、どのような属性（例えば、性別、年齢）をもつ人物であったかの履歴を残すことにある。
【００４５】
図４に人物認識装置４００の構成を示す。
【００４６】
人物認識装置４００は、顔画像獲得部４０１、カメラ内の顔画像対応付け部４０２、カメラ間の断片動画像対応付け部４０３、個人識別部４０４、辞書動画像格納部４０５、属性判定部４０６、人物属性検索部４０７からなる。
【００４７】
なお、顔画像獲得部４０１は、顔画像獲得部１０１、カメラ内の顔画像対応付け部４０２はカメラ内の顔画像対応付け部１０２、カメラ間の断片動画像対応付け部４０３はカメラ間の断片動画像対応付け部１０３、個人識別部４０４は個人識別部１０４、辞書動画像格納部４０５は辞書動画像格納部１０５と同じ処理を行う。
【００４８】
属性判定部４０６は、カメラ間の断片動画像対応付け部１０３から出力された統合動画像を用いて属性の判定し、統合動画像の属性情報を記録する。例えば、性別や年代を見分ける場合、男性の顔画像、女性の顔画像からそれぞれ辞書を作成し２クラスの識別を行う。その方法として例えば部分空間法やサポートベクタマシンを用いる。他の属性として、眼鏡の有無も犯罪捜査などに役立つと考えられる。このため、眼鏡の鼻当て付近を拡大した画像を用いて性別判定と同様の方法を用いて識別する。
【００４９】
人物属性検索部４０７は、前記属性判定部４０６で記録された属性情報を用いて、カメラが監視している場所をどのような人物が通過したかを検索する。例えば、時間帯と性別の条件を入力することで、条件に対応する歩行者を一覧表示することが考えられる。
【００５０】
（第４の実施形態）
以下、本発明の第４の実施形態の人物認識装置５００について図５に基づいて説明する。本実施形態は、歩行者がどのカメラの前を通過したかという歩行者の行動履歴を残す処理を第１の実施形態に加えた装置について述べる。
【００５１】
図６のシステム構成では、１ケ所を複数カメラで監視していたが、本実施形態では、別々の場所にカメラを配置しても適用できる。すなわち、顔画像に獲得された時の時間とカメラ番号を付加し、統合動画像に含まれる顔画像を検索することで行動履歴を残す。また、個人識別できなかった人物についても同様に行動履歴を残すことができる。
【００５２】
図５に人物認識装置５００の構成を示す。
【００５３】
人物認識装置５００は、顔画像獲得部５０１、カメラ内の顔画像対応付け部５０２、カメラ間の断片動画像対応付け部５０３、個人識別部５０４、辞書動画像格納部５０５、行動履歴抽出部５０６、行動履歴検索部５０７からなる。
【００５４】
なお、顔画像獲得部５０１は顔画像獲得部１０１、カメラ内の顔画像対応付け部５０２はカメラ内の顔画像対応付け部１０２、カメラ間の断片動画像対応付け部５０３はカメラ間の断片動画像対応付け部１０３、個人識別部５０４は個人識別部１０４、辞書動画像格納部５０５は辞書動画像格納部１０５と同じ処理を行う。但し、全ての顔画像に、獲得された時のカメラ番号と時間を付加する。
【００５５】
行動履歴抽出部５０６では、カメラ間の断片動画像対応付け部５０３から出力された統合動画像に含まれる顔画像のカメラ番号と時間を基に、その統合動画像に対応する人物の行動履歴を抽出し、統合動画像に対応する歩行者の行動履歴を記憶する。
【００５６】
行動履歴検索部５０７では、前記行動履歴抽出部５０６で記録された歩行者の行動履歴を検索する。一例として、カメラが配置されている場所を含めた建物の平面図を予め入力しておき、ある時刻にどのような人物が存在していたかを可視化することが考えられる。
【００５７】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施形態の人物認識装置１００の構成図である。
【図２】歩行者認識の流れを表す図である。
【図３】第２の実施形態の人物認識装置３００の構成図である。
【図４】第３の実施形態の人物認識装置４００の構成図である。
【図５】第４の実施形態の人物認識装置５００の構成図である。
【図６】第１の実施形態における複数のカメラを用いた複数の歩行者の認識の概念図である。
【図７】第１の実施形態における概念図である。
【図８】対応付けと個人識別の難しさの比較を表す図である。
【図９】第１の実施形態における３台のカメラの下で、二人の人物が歩行したときの段階的に対応付けされる流れを示す図である。
【符号の説明】
【００５９】
１０１  顔画像獲得部
１０２  カメラ内の顔画像対応付け部
１０３  カメラ間の断片動画像対応付け部
１０４  個人識別部
１０５  辞書動画像格納部
【図１】
2007317062.tif 000006
【図２】
2007317062.tif 000007
【図３】
2007317062.tif 000008
【図４】
2007317062.tif 000009
【図５】
2007317062.tif 000010
【図８】
2007317062.tif 000011
【図９】
2007317062.tif 000012
【図６】
2007317062.tif 000013
【図７】
2007317062.tif 000014