(57)【要約】複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定する。  特徴量特定装置は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量をそれぞれ特定する特徴量特定部と、を備える。
2012020591.tif 000002
【特許請求の範囲】
【請求項１】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
を備える特徴量特定装置。
【請求項２】
前記特徴量特定部は、前記個体毎に、前記判別の結果に基づいて一の個体から発生したと判別された特徴量の中で前記有効値が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１に記載の特徴量特定装置。
【請求項３】
前記レジストレーション部は、前記環境情報から抽出される特徴量毎に、その特徴量が各個体から発生した確率を個体毎に算出し、
前記特徴量特定部は、前記有効値と前記確率とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する、請求項１または２に記載の特徴量特定装置。
【請求項４】
前記特徴量特定部は、前記有効値と前記確率との積が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項３に記載の特徴量特定装置。
【請求項５】
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
各個体の位置情報に基づいて特定される位置と各特徴量の属性情報に基づいて特定される位置との差分に基づいて、前記各特徴量のそれぞれが、前記各個体から発生した特徴量である確率をそれぞれ算出する、請求項３または４に記載の特徴量特定装置。
【請求項６】
前記レジストレーション部は、
前記個体の前記位置情報とともに当該個体が検出された時刻を示す情報を受け取り、当該位置情報と当該時刻を示す情報とを対応付け、前記特徴量の前記属性情報とともに当該特徴量が特定された時刻を示す情報を受け取り、当該属性情報と当該時刻を示す情報とを対応付け、第一の個体の位置情報と各位置情報に対応付けられている時刻を示す情報とに基づいて当該第一の個体の位置の時間変化を示すベクトルを生成し、第一の特徴量の属性情報と各属性情報に対応付けられている時刻を示す情報とに基づいて当該第一の特徴量の位置の時間変化を示すベクトルを生成し、第二の個体に基づいて生成されたベクトルと第二の特徴量に基づいて生成されたベクトルとの差分に基づいて特定されるベクトルの長さが所定の値未満である場合に、当該第二の特徴量は当該第二の個体から発生した特徴量と判別する、請求項１ないし５のいずれか１項に記載の特徴量特定装置。
【請求項７】
前記特徴量特定装置は、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１ないし６のいずれか１項に記載の特徴量特定装置。
【請求項８】
個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、
前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、
前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、
前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、
を備える個体識別システム。
【請求項９】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定方法。
【請求項１０】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個体識別システム、特徴量特定装置、特徴量特定方法および記録媒体に関し、特に識別対象の複数の個体のそれぞれに対して特徴量を特定する個体識別システム、特徴量特定装置、特徴量特定方法および記録媒体に関する。
【背景技術】
【０００２】
個体の識別に際し、複数の特徴量を用いて認証を行う技術が知られている。複数の特徴量を用いて個体識別を行う技術において、個体識別のための照合に用いる特徴の検出信号の品質が考慮されていない。よって、例えば特徴の計測条件が良好でなくＳＮ比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ）が悪い状況において、すべての特徴を用いての照合における誤り発生率は、検出信号の品質の良い特徴だけを用いた照合における誤り発生率と比べて高くなる。
この課題を解決する技術の一例が、特許文献１に記載されている。
特許文献１に記載された個人認識システムは、取得手段と、収集手段と、計算手段と、特定手段と、認識手段とを備える。取得手段は、人が存在する空間の環境情報を取得する。収集手段は、取得手段が取得した環境情報から複数種の特徴量を収集する。計算手段は、収集手段が収集したそれぞれの特徴量について、有効値を求める。特定手段は、計算手段が計算したそれぞれの有効値に基づいて、個人認識処理のために用いる特徴量を特定する。認識手段は、特定手段が特定した特徴量を用いて個人認識処理を行う。
有効値とは、特徴の検出信号の品質を表した数値である。例えば有効値は、特徴の計測条件が良好でなくＳＮ比が悪い場合、より検出信号の品質のよい特徴を選択的に照合に利用するといった処理を可能とする指標である。
このような構成を有する個人認識システムは、次のように動作する。
すなわち、取得手段が環境情報を取得し、取得した環境情報から、収集手段が複数種の特徴量を収集する。そして計算手段がそれぞれの特徴の有効値を算出し、算出した有効値に基づいて特定手段が個人認識処理のために用いる特徴量を特定する。そして認識手段は、特定手段が特定した特徴量を用いて個人認識処理を行う。
複数の個体を同時に認証する技術が特許文献２に記載されている。
特許文献２に記載された認証システムは、複数の重量測定ユニットによって構成される重量測定床と、重量センサ部と、コントローラと、情報処理装置とを備える。そしてこの認証システムの重量測定床を、複数の認証対象者が通過すると、各重量センサ部が重量の測定を行う。測定結果は、コントローラを介して情報処理装置に通知される。そして、情報処理装置は、各認証対象者に関する情報をそれぞれ分離し、重心移動などの歩行データを求める。そして情報処理装置は、記憶しているデータと比較し、一致すればその認証対象者に認証許可を与える。
複数の個体から出力される複数の特徴量のそれぞれを、それぞれを出力した個体に対応付ける技術が特許文献３に記載されている。
特許文献３に記載された会議システムは、複数のマイクロホンと、音声認識手段と、位置特定手段と、関連付ける手段と、合成手段とを備える。そして、音声認識手段は、各マイクロホンに入力された音声をそれぞれ認識する。また位置特定手段は、撮像画像における発言者の位置を特定する。関連付ける手段は、音声認識手段が認識して得た発言文字情報および位置特定手段が特定した発言者の位置を示す使用者位置情報を関連付ける。合成手段は、発言文字情報にかかる文字画像を、撮像画像における使用者位置情報が示す位置に応じた画像部分に合成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２９３６４４号公報
【特許文献２】特開２００５−０７８２２８号公報
【特許文献３】特開２００９−１９４８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に記載された個人認識システムは、取得手段により取得される環境情報に含まれる特徴量が一つの認識対象より発生された場合のみを想定している。そのため、環境情報を取得する空間内に複数の認識対象が存在する場合、特許文献１に記載された個人認識システムは、収集手段により収集された特徴量がすべて一つの対象から得られた特徴量であるとみなしてしまう。したがって特許文献１に記載された個人認識システムは、複数の認識対象のそれぞれに対して個体認識に用いるための適切な特徴量を特定することが困難である。
例えば、環境情報を取得するための空間中に２つの人物が存在し、一方の人物からは顔の特徴量のみが取得され、もう一方の人物からは音声の特徴量のみが取得され、取得されたそれぞれの特徴量の有効値が高い場合がある。この場合、特許文献１に記載された個人認識システムは、取得された顔の特徴量と音声の特徴量とが同一人物から得られた情報であると判断してしまう。つまり特許文献１に記載された個人認識システムは、結果的に誤識別を招いてしまう。
上述した特許文献２に記載された認証システムは、一種類の特徴量に基づいて認証を行う。したがって特許文献２に記載された認証システムは、複数の特徴量が収集されている場合に、複数の認証対象のそれぞれに対して個体認証に用いるための適切な特徴量を特定することが困難である。
上述した特許文献３に記載された会議システムは、画像情報から得られる特徴量が検出された位置と音声情報から得られる特徴量が検出された位置とに基づいてそれぞれの特徴量を対応付ける。そして会議システムは、画像情報から得られる特徴量に基づいて個体認識を行うことで個体を特定する。そして会議システムは、その個体と画像情報から得られる特徴量と音声情報から得られる特徴量とを対応付ける。つまり特許文献３に記載された会議システムは、複数の特徴量に基づいて個体の特定を行えないので、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することは困難である。
本発明の目的の一例は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定する個体識別システム、特徴量特定装置、特徴量特定方法および記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一形態における第一の特徴量特定装置は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、を備える。
本発明の一形態における第一の個体識別システムは、個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、を備える。
本発明の一態様における第一の特徴量特定方法は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する。
本発明の一態様における第一の記録媒体は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラムを記録する。
【発明の効果】
【０００６】
本発明の効果の一つは、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することが可能となる点にある。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施の形態の個体識別システム１の構成例を示すブロック図である。
【図２】図２は、第１の実施の形態のセンサ部１０００の構成例を示すブロック図である。
【図３】図３は、第１の実施の形態の特徴量判別部１１０３の構成例を示すブロック図である。
【図４】図４は、第１の実施の形態の個体識別システム１の動作例を示すフローチャートである。
【図５】図５は、第２の実施の形態の個体識別システム２の構成例を示すブロック図である。
【図６】図６は、第２の実施の形態の複合センサ部２２００の構成例を示すブロック図である。
【図７】図７は、第２の実施の形態の個体識別システム２の動作例を示すフローチャートである。
【図８】図８は、第３の実施の形態の個体識別システム３の構成例を示すブロック図である。
【図９】図９は、第３の実施の形態の生体情報取得部３２００の構成例を示すブロック図である。
【図１０】図１０は、第３の実施の形態の個体識別システム３の動作例を示すフローチャートである。
【図１１】図１１は、第４の実施の形態の個体識別システム４の構成例を示すブロック図である。
【図１２】図１２は、第４の実施の形態の個体識別システム４の動作例を示すフローチャートである。
【図１３】図１３は、第５の実施の形態の特徴量特定装置５０の構成例を示すブロック図である。
【図１４】図１４は、データベース部１１０７に記憶される情報の一例を示す図である。
【発明を実施するための形態】
【０００８】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態における個体識別システム１の構成を示すブロック図である。
図１に示されるように、本発明の第１の実施の形態における個体識別システム１は、センサ部１０００と識別処理装置１１００とを備える。
センサ部１０００の構成について説明する。
センサ部１０００は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報を取得する。以降、個体識別処理の対象となる個体が存在する空間を単に実空間と称する。
環境情報は、実空間における画像情報を含んでもよい。この場合、センサ部１０００は、具体的な構成として、図２に示されるように実空間の画像情報を取得する画像情報取得部１００１を備えてもよい。また環境情報は、実空間における音声情報を含んでもよい。この場合センサ部１０００は、具体的な構成として、図２に示されるように実空間の音声情報を取得する音声情報取得部１００２を備えてもよい。
画像情報取得部１００１は、具体的には、実空間の映像や静止画像を撮影できるビデオカメラであってもよい。また音声情報取得部１００２は、具体的には、実空間の音声を取得できるマイクロホンであってもよい。音声情報取得部１００２を構成するマイクロホンは、音声が発生した位置を特定できる指向性を持つ機能を備えてもよい。
なお、画像情報取得部１００１および音声情報取得部１００２は、実空間上の２以上の位置に複数配置されてもよい。
また、実空間の環境情報を取得する手段は、上記の構成に限定されるものではない。例えば実空間の環境情報を取得する手段は、外部記憶装置に保持されている実空間の環境情報を読み出すことによって取得してもよい。
本実施の形態では、環境情報とは、画像情報および音声情報を含む情報であると仮定する。
識別処理装置１１００の構成について説明する。
識別処理装置１１００は、個体検出部１１０１、特徴量抽出部１１０２、特徴量判別部１１０３、特徴量特定部１１０４、データベース追加処理部１１０５、照合部１１０６およびデータベース部１１０７を備える。
第１の実施の形態における識別処理装置１１００は、環境情報から抽出される特徴量のそれぞれが発生した個体を判別する。そして識別処理装置１１００は、環境情報から抽出される特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。そして識別処理装置１１００は、判別された結果と算出された有効値とに基づいて、環境情報から検出された個体毎に、個体識別処理に用いる特徴量をそれぞれ特定する。
よって第１の実施の形態における識別処理装置１１００は、各個体に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個体識別処理に用いることができる。
以下、第１の実施の形態における識別処理装置１１００が備える各構成要素について詳細に説明する。
個体検出部１１０１は、センサ部１０００が取得した実空間の環境情報をセンサ部１０００から受け取る。そして個体検出部１１０１は、受け取った環境情報からその実空間に存在する識別対象となる個体を検出する処理を行う。また個体検出部１１０１は、受け取った環境情報からその個体の位置もその個体と共に特定する。
具体的には、個体検出部１１０１は、取得した環境情報に含まれる画像情報に対して背景差分法やパターンマッチングを適用することで識別対象となる個体とその個体の位置を特定してもよい。あるいは個体検出部１１０１は、環境情報として多視点画像を含む情報を受け取った場合、その多視点画像を用いて識別対象となる個体とその個体の空間上における３次元位置を特定してもよい。あるいは個体検出部１１０１は、以下のように識別対象となる個体を検出し、その個体の位置を特定してもよい。例えばセンサ部１０００が指向性マイクロホンを含む場合、個体検出部１１０１は、以下の方法で発音個体の位置を特定してもよい。すなわち個体検出部１１０１は、センサ部１０００から受け取った環境情報とセンサ部１０００が含む指向性マイクロホンの機能により特定される発音個体の推定位置とに基づいて発音個体を検出し、発音個体の位置を特定してもよい。
また個体検出部１１０１は、検出した個体毎に、特定された個体の位置を示す位置情報を生成する。
個体検出部１１０１は、検出した個体毎に、その個体を示す情報とその個体の位置情報とその位置情報に対応する、環境情報の少なくとも一部の画像情報と音声情報とを特徴量抽出部１１０２へ出力する。少なくとも一部の画像情報とは、その個体の領域を含む画像情報であってもよい。またこの画像情報は、その個体の領域を含む映像情報であってもよい。また少なくとも一部の音声情報とは、その個体の位置情報で示される位置から所定の距離以内から発生したと推定される音声を示す音声情報であってもよい。
また個体検出部１１０１は、検出した個体毎に、その個体を示す情報とその個体の位置情報とを後述の特徴量特定部１１０４へ出力する。
特徴量抽出部１１０２は、個体検出部１１０１から個体を示す情報とその個体の位置情報とその個体に対応する画像情報と音声情報とを受け取る。そして特徴量抽出部１１０２は、受け取った画像情報と音声情報とから特徴量を抽出する。具体的には、特徴量抽出部１１０２は、受け取った画像情報から取得することができる物体の色、形状、大きさ、模様などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、受け取った映像情報から取得することができる物体の動作などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、受け取った音声情報から取得することができる物体の発する音に基づく特徴量などを抽出してもよい。
特徴量抽出部１１０２は、特徴量を抽出する際にその特徴量の属性を特定する。特徴量の属性とは、例えば、次に挙げる属性であってもよい。
（ａ）特徴量の取得元の情報の種類
（ｂ）特徴量が人間から発生したか否か
（ｃ）特徴量が男性から発生されたか女性から発生されたか
（ｄ）特徴量を発生させた人物の人種
（ｅ）特徴量の強弱
（ｆ）特徴量の高低
（ｇ）特徴量が言語であるか否か
（ｈ）特徴量が何語であるか
（ｉ）特徴量が発生したと推定される位置
特徴量抽出部１１０２は、特定した特徴量の属性を示す属性情報を生成する。例えば特徴量の属性が、（ａ）「特徴量の取得元の情報の種類」であった場合、特徴量抽出部１１０２は、特徴量が、環境情報のうち音声情報から得られたのか、それとも画像情報から得られたのかを特定する。そして特徴量抽出部１１０２は、特定した取得元を示す情報を属性情報として生成する。
例えば特徴量の属性が、（ｂ）「特徴量が人間から発生したか否か」であった場合、特徴量抽出部１１０２は、その特徴量を解析し人間に特有な情報が含まれているか否か判定する。この判定方法として、既知のあらゆる方法が適用されうる。そして特徴量抽出部１１０２は、その特徴量に人間に特有な情報が含まれている場合に、その特徴量は人間から発生したことを示す情報を属性情報として生成する。
例えば特徴量の属性が、（ｃ）「特徴量が男性から発生されたか女性から発生されたか」であった場合、特徴量抽出部１１０２は、その特徴量を解析し男性から発生したものか女性から発生したものかを判定する。この判定方法として、既知のあらゆる方法が適用されうる。そして特徴量抽出部１１０２は、その特徴量に男性または女性に特有な情報が含まれている場合に、その特徴量は男性または女性から発生したことを示す情報を属性情報として生成する。
特徴量の属性が上記（ａ）〜（ｃ）以外のものであった場合でも、上記の説明と同様にそれぞれ特徴量抽出部１１０２は、所定の属性情報を生成する。
特徴量抽出部１１０２は、抽出された特徴量と各特徴量の属性情報とを後述の特徴量判別部１１０３へ出力する。
特徴量判別部１１０３は、特徴量抽出部１１０２が抽出した特徴量が実空間に存在するどの個体から得られた特徴量であるかを判別し、判別結果を出力する。そして特徴量判別部１１０３は、それぞれの特徴量の有効値を算出する。具体的には、特徴量判別部１１０３は、図３に示されるように、個体と特徴量とを対応付けるレジストレーション部１１１３と各特徴量の有効値を算出する有効値算出部１１２３とを含む。
レジストレーション部１１１３は、個体検出部１１０１から、個体を示す情報とその各個体の位置情報とを受け取る。またレジストレーション部１１１３は、特徴量抽出部１１０２から、特徴量とその各特徴量の属性情報とを受け取る。そしてレジストレーション部１１１３は、受け取った位置情報と属性情報とに基づいて、受け取った特徴量のそれぞれが発生した個体を判別する。
具体的には、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。まずレジストレーション部１１１３は、個体検出部１１０１が環境情報に基づいて特定する各個体の位置と、特徴量抽出部１１０２が特定する各特徴量が発生したと推定される位置との差分を特定する。そしてレジストレーション部１１１３は、特定された差分が所定の閾値以下であるときに、その個体と特徴量とを対応付ける。
または、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。すなわち、レジストレーション部１１１３は、各個体の位置の時間ごとの差分と、各特徴量が発生したと推定される位置の時間ごとの差分とが、対応する場合にその個体と特徴量とを対応付ける。ここで「対応する」とは、各差分をベクトルとし、それらのベクトルの差分で特定されるベクトルが所定の長さ未満である場合を意味してもよい。
この場合、個体検出部１１０１および特徴量抽出部１１０２は、個体の位置、または特徴量の属性を特定した時刻を示す情報を、それぞれの個体を示す情報または特徴量に対応付けてもよい。そして個体検出部１１０１および特徴量抽出部１１０２は、時刻を示す情報を対応付けた個体を示す情報または特徴量を特徴量判別部１１０３に出力してもよい。
または、センサ部１０００は、環境情報を取得した時刻をその環境情報に対応付け、その環境情報を個体検出部１１０１または特徴量抽出部１１０２に渡してもよい。そして個体検出部１１０１または特徴量抽出部１１０２は、個体の位置を示す位置情報または特徴量の属性を示す属性情報に対し、受け取った環境情報に対応付けられている時刻を対応付けてもよい。そして個体検出部１１０１または特徴量抽出部１１０２は、時刻を対応付けた個体の位置情報または特徴量の属性情報を特徴量判別部１１０３に出力してもよい。
または、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。特徴量の属性が（ｂ）「特徴量が人間から発生したか否か」であり、その属性情報が「人間である」という情報を示す場合、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付ける。すなわちレジストレーション部１１１３は、画像情報に含まれる特徴量のうち口唇の動きを示す特徴量に基づいて話者推定を行ってもよい。そしてレジストレーション部１１１３は、話者を示すと推定された画像情報から抽出される特徴量と、音声情報から抽出される特徴量とを対応付ける。最後にレジストレーション部１１１３は、前述の対応付けられた特徴量と対応付けるべき個体を、その各特徴量と個体との関係に基づいて特定してもよい。これにより、レジストレーション部１１１３は、特徴量と個体との一対一の関係に基づく対応付けよりも高精度の対応付けを行うことができる。
なお、レジストレーション部１１１３は、一特徴量を一個体だけに割り当てる以外に、確率的に重みを付けて複数の個体に対して一特徴量を割り当ててもよい。例えばレジストレーション部１１１３は、一の特徴量を、第一の個体に確率８０％という重みを付けたうえで対応付け、第二の個体に確率２０％という重みを付けたうえで対応付けてもよい。
この確率は、特徴量がその個体から発生した確からしさを示す確率である。この確率は、以下の方法で算出されてもよい。例えば、特徴量の属性情報はその特徴量が発生したと推定される位置を示す位置情報を含む場合、レジストレーション部１１１３は、各個体の位置情報と各特徴量の属性情報とでそれぞれ特定される位置の差分に基づいて前述の確率を算出してもよい。例えば、レジストレーション部１１１３は、前述の差分が小さいほど高い確率を割り当て、差分が大きいほど低い確率を割り当ててもよい。具体的にはレジストレーション部１１１３は、差分に反比例するようにそれぞれ確率を割り当てればよい。
また、この確率は、特徴量の属性情報に基づいて定められてもよい。例えば、特徴量の属性情報が特徴量の種類を示す情報を含む場合、レジストレーション部１１１３は、特徴量の種類に応じて前述の確率にそれぞれ重みをつけてもよい。
有効値算出部１１２３は、特徴量が抽出された画像情報および音声情報の信号強度などに基づいて特徴量の品質を示す有効値を算出する。有効値の算出方法として、信号のＳＮ比や信号強度の情報を利用して定量的に算出する方法や、予め収集した学習データを利用したニューラルネットワークやサポートベクトルマシンにより算出する方法がある。また有効値の算出方法として、特許文献１に記載の方法が適用されても良い。これらは例示であって、有効値の算出方法は、上記に限られない。
特徴量特定部１１０４は、特徴量抽出部１１０２が抽出した特徴量の中から、個体の識別に利用する特徴量を、個体検出部１１０１が検出した個体毎に特定する。具体的には、特徴量特定部１１０４は、特徴量判別部１１０３で得られた特徴量の判別結果および有効値を利用し、個体識別処理のための照合に利用される特徴量を特定する。
例えば、特徴量特定部１１０４は、個体検出部１１０１が検出した個体毎に、一の個体から発生したと判別された特徴量の有効値をそれぞれ参照する。そして、特徴量特定部１１０４は、参照されたそれぞれの有効値が所定の閾値以上の特徴量をその一の個体の個体識別処理に用いる特徴量と特定する。この所定の閾値はあらかじめ定められる定数であってもよい。あるいはこの所定の閾値は、特徴量の属性情報に基づいて特徴量特定部１１０４によって算出される値であってもよい。
レジストレーション部１１１３が、確率的に重み付けをつけて複数の個体に対して一特徴量を割り当てている場合、特徴量特定部１１０４は以下の方法によって個体の識別に利用する特徴量を、個体検出部１１０１が検出した個体毎に特定してもよい。すなわち特徴量特定部１１０４は、個体検出部１１０１が検出した個体毎に、一の個体から発生したと判別された特徴量の有効値と、その特徴量がその一の個体から発生したと推定された確率との積をそれぞれ算出する。そして特徴量特定部１１０４は、算出した積が所定の閾値以上である場合に、その特徴量をその一の個体の個体識別処理に用いる特徴量と特定する。
また特徴量特定部１１０４は、後述のデータベース部１１０７を参照することによって、各個体の個体識別処理に用いる特徴量を特定してもよい。具体的には、特徴量特定部１１０４は、ある個体を示す情報に対応付けられている特徴量がデータベース部１１０７に記憶されているか否か判定する。そして、特徴量特定部１１０４は、データベース部１１０７に記憶されていると判定した場合に、その特徴量の属性情報に対応する属性情報を持つ特徴量を前述の個体の個体識別処理に用いる特徴量と特定する。
データベース部１１０７は、さまざまな個体から取得された複数種の特徴量を記憶する。特徴量の種類とは、物体の色、形状、大きさ、模様のようなテクスチャパターンなどに基づく画像特徴、物体の動作などに基づく映像特徴、物体の発する音に基づく音声特徴などを含む。それぞれの種類の特徴量が個体毎に対応付けられてデータベース部１１０７に登録される。
なお、データベース部１１０７は、識別処理装置１１００と通信可能に接続されていれば識別処理装置１１００の外部に設置されるような構成であってもよい。また各特徴量はその特徴量の種類を示す情報と対応付けられてデータベース部１１０７に記憶されてもよい。さらに各特徴量は、その特徴量の属性情報と対応付けられてデータベース部１１０７に記憶されてもよい。さらに各特徴量は、特徴量判別部１１０３がその特徴量と対応付けた個体を示す情報と対応付けられてデータベース部１１０７に記憶されてもよい。
図１４は、データベース部１１０７に記憶される情報を示す一例である。図１４を参照すると、データベース部１１０７は、個体を示す情報と、各個体に対応付けられている特徴量と、その特徴量の属性情報と、をそれぞれ対応付けて記憶している。図１４において、特徴量の属性情報とは、その特徴量が発生したと推定される位置を示す情報である。
照合部１１０６は、特徴量特定部１１０４によって特定された特徴量と、データベース部１１０７に蓄積された特徴量とを照合し、個体識別を行う。照合部１１０６は、特徴量特定部１１０４によって特定された特徴量とデータベース部１１０７に蓄積された特徴量との相関を示す相関値がある閾値以上あるいは前述の特徴量間の距離がある閾値以下となった場合、それらの特徴量の類似性が高いと判定する。そしてこの場合に照合部１１０６は、それぞれの特徴量に対応付けられている個体は同一であると判定する。
照合部１１０６は、特徴量特定部１１０４によって特定された特徴量について、データベース部１１０７に蓄積された特徴量のすべてに対する相関値あるいは特徴量間の距離を算出する。そして照合部１１０６は、データベース部１１０７に蓄積されたすべての特徴量に対して相関値がある閾値以下あるいは特徴量間の距離がある閾値以上であるか否か判定する。データベース部１１０７に蓄積されたすべての特徴量に対して相関値がある閾値以下あるいは特徴量間の距離がある閾値以上であった場合、照合部１１０６は、以下の処理を行う。すなわち照合部１１０６は、その対象の個体がデータベース部１１０７に未登録であると判定する。照合部１１０６によりその対象の個体が未登録と判断された場合、後述のデータベース追加処理部１１０５が特徴量特定部１１０４で特定された特徴量とその個体を示す情報とを対応付けてデータベース部１１０７へ登録する。
これにより、次回以降その個体が実空間に存在した場合、照合部１１０６は、データベース部１１０７へ登録された特徴量を用いた照合を行うことにより、その個体の識別処理を行うことができる。
データベース追加処理部１１０５は、照合部１１０６がデータベース部１１０７に未登録であると判定した個体を示す情報とその個体を識別するために用いる特徴量とを照合部１１０６から受け取る。またデータベース追加処理部１１０５は、受け取った特徴量の属性情報も受け取る。そしてデータベース追加処理部１１０５は、受け取った情報をそれぞれ対応付けてデータベース部１１０７に記憶する。
図４は、本発明を実施するための第１の実施の形態における個体識別システム１の動作を示すフローチャートである。
画像情報取得部１００１は、実空間中の環境情報に含まれる画像情報を取得する。そして音声情報取得部１００２は、実空間中の環境情報に含まれる音声情報を取得する（ステップＳ１）。センサ部１０００は、取得した環境情報、すなわち画像情報および音声情報を個体検出部１１０１へ出力する。
個体検出部１１０１は、センサ部１０００から出力された画像情報および音声情報を解析し、識別すべき個体を検出し、その個体の位置情報を特定する。そして個体検出部１１０１は、検出した個体を示す情報とその個体の位置情報とを特徴量抽出部１１０２および特徴量判別部１１０３へ出力する。また個体検出部１１０１は、検出した個体毎に、その個体を示す情報と、その個体の位置情報と、その位置情報に対応する、環境情報の少なくとも一部の画像情報と、環境情報の少なくとも一部の音声情報とを特徴量抽出部１１０２へ出力する（ステップＳ２）。具体的には、個体検出部１１０１は、画像情報に対する背景差分法やパターンマッチングによる物体検出処理、多視点画像を利用した３次元位置検出処理、指向性マイクロホンを利用した音声による発音物体の位置検出処理などを組み合わせて利用する。そして個体検出部１１０１は、前述の組み合わされた処理により、識別対象となる個体を検出しその個体の位置情報を特定する。
特徴量抽出部１１０２は、個体検出部１１０１から受け取る画像情報および音声情報から個体を識別するための特徴量を抽出し、特徴量特定部１１０４へ出力する（ステップＳ３）。具体的には、特徴量抽出部１１０２は、画像情報から取得することができる物体の色、形状、大きさ、模様などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、映像情報から取得することができる物体の動作などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、音声情報から取得することができる物体の発する音に基づく特徴量などを抽出してもよい。
特徴量判別部１１０３は、個体検出部１１０１から入力された個体に対応する画像情報および音声情報とその個体の位置情報を利用し、特徴量抽出部１１０２が抽出した特徴量のそれぞれが発生した個体を判別する（ステップＳ４）。具体的には、特徴量判別部１１０３は、個体の空間位置と音声信号の方向の関係や、映像情報から得られる個体の動作と音声信号の移動方向の関係などを考慮することで、特徴量のそれぞれが発生した個体を判別する。そして特徴量判別部１１０３は、その判別結果を特徴量特定部１１０４へ出力する。
さらに、特徴量判別部１１０３は、個体検出部１１０１から入力された個体の画像情報および音声情報の有効性を表す有効値を算出し、特徴量特定部１１０４へ出力する（ステップＳ５）。有効値の算出方法として、例えば、信号のＳＮ比や信号強度などの情報を利用して定量的に算出する方法や、予め収集された学習データを利用したニューラルネットワークやサポートベクトルマシンにより算出する方法などがある。
特徴量特定部１１０４は、特徴量抽出部１１０２から入力された複数種の特徴量と特徴量判別部１１０３から入力された判別結果および各信号の有効値を利用し、対象となる個体の識別に有効な特徴量を特定する（ステップＳ６）。特定された特徴量は照合部１１０６へ出力される。照合部１１０６は特徴量特定部１１０４から入力された特徴量とデータベース部１１０７に蓄積されている複数種の特徴量を照合し、２つの特徴量間の相関を示す照合スコアを算出する（ステップＳ７）。照合部１１０６は、特徴量の組毎に相関値あるいは距離を算出し、それらを統合することで照合スコアを算出する。相関値あるいは距離の統合の方法として、それぞれの値の平均値をとる方法や最大値をとる方法、またはそれぞれの値の加算や乗算などがある。また、相関値あるいは距離の統合の方法として、予め用意した学習データを利用してニューラルネットワークやサポートベクトルマシンによって統合する方法もある。本機能を有するシステムが構築される際には、上記統合方法のうち少なくとも１つが実装されればよい。
照合部１１０６は、算出した照合スコアがある第一の閾値以下（距離ベースの照合スコアだった場合は第一の閾値以上）であるか否か判定する。すなわち照合部１１０６は、データベース部１１０７に該当する個体が存在しないかどうか判定する（ステップＳ８）。照合部１１０６がデータベース部１１０７に該当する個体は存在しないと判定した場合（ステップＳ８で「ＹＥＳ」（未登録）の場合）、データベース追加処理部１１０５は、以下の処理を実行する。すなわちデータベース追加処理部１１０５は、特徴量特定部１１０４で特定された特徴量を新たにデータベース部１１０７へ登録する（ステップＳ９）。これにより、次回以降の個体識別が可能となる。
一方、算出した照合スコアが第一の閾値以上（距離ベースの照合スコアだった場合は第一の閾値以下）である場合、照合部１１０６は、データベース部１１０７に該当する個体が存在すると判定する（ステップＳ８で「ＮＯ」（登録済）の場合）。そしてこの場合、照合部１１０６による照合は、完了となる。
なお、照合部１１０６は以下の機能を備えてもよい。まず、照合部１１０６は、算出された照合スコアが第一の閾値よりも大幅に高いか否か判定する。なお、算出された照合スコアが距離ベースの照合スコアであった場合、照合部１１０６は、第一の閾値より大幅に小さいか否か判定する。ここで第二の閾値は、第一の閾値よりも大きい値（照合スコアが距離ベースの照合スコアであった場合、第一の閾値よりも小さい値）を示す。
例えば照合部１１０６は、あらかじめ定められている第二の閾値に基づいて、算出した照合スコアがその第二の閾値以上であるか否か判定する。そして照合部１１０６は、その照合スコアが所定の第二の閾値以上であった場合に、個体の照合信頼度が極めて高いと判定する。さらに照合部１１０６は、その照合スコアが所定の第二の閾値以上であった場合に、データベース部１１０７にその個体の特徴量を追加する。
照合部１１０６が上記の機能を備える場合、特徴量特定部１１０４は、ある個体を示す情報に対応付けられている特徴量がデータベース部１１０７に記憶されているか否か判定してもよい。そして、特徴量特定部１１０４は、データベース部１１０７に記憶されていると判定した場合に、その特徴量の属性情報に対応する属性情報を持つ特徴量を、前述の個体の個体識別処理に用いる特徴量と特定してもよい。
照合部１１０６による照合完了の後、個体識別システム１は、個体検出部１１０１で検出された個体の中でまだ識別処理を行っていない個体が存在するか否か判定する（ステップＳ１０）。そして、個体識別システム１は、まだ識別処理を行っていない個体が存在すると判定した場合（ステップＳ１０で「ＹＥＳ」（未識別個体あり）の場合）、ステップＳ４の特徴判別処理から同様のステップを繰り返す。この動作により、個体識別システム１は、実空間に存在する個体をすべて識別することができる。
一方、個体識別システム１は、個体検出部１１０１で検出された個体に対してすべて識別処理が実行されたと判定した場合（ステップＳ１０で「ＮＯ」（未識別個体なし）の場合）、識別処理を終了する。
第１の実施の形態における個体識別システム１は、環境情報から抽出される特徴量のそれぞれが発生した個体を判別する。そして個体識別システム１は、環境情報から抽出される特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。そして個体識別システム１は、判別された結果と算出された有効値とに基づいて、環境情報から検出された個体毎に、個体識別処理に用いる特徴量をそれぞれ特定する。
よって第１の実施の形態における個体識別システム１は、各個体に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個体識別処理に用いることができる。結果として、第１の実施の形態における個体識別システム１は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することができる。これにより個体識別システム１は、環境の変動にロバストでかつ複数個体を同時に識別しなければならない場合においても、より高精度な個体識別処理が可能となる。
なお、第１の実施の形態において、特徴量判別部１１０３は個体検出部１１０１に内包されるような構成であってもよい。この場合、個体検出部１１０１は、センサ部１０００から受け取った画像情報および音声情報から、識別する個体を検出する際に、その個体の位置を含む所定の領域内の画像情報または音声情報とその個体とを対応付けてもよい。そして個体検出部１１０１は、個体に対応付けられた画像情報または音声情報の信号強度に基づいてその画像情報または音声情報に含まれる特徴量の有効値を算出する。そして個体検出部１１０１は、個体を示す情報とその個体の位置情報とその個体に対応付けられた画像情報および音声情報とを特徴量抽出部１１０２へ出力してもよい。特徴量抽出部１１０２は、受け取った画像情報と音声情報とに基づいてそれらに含まれる特徴量をそれぞれ抽出する。そして特徴量抽出部１１０２は、抽出された特徴量毎に特徴量とその特徴量の属性情報とその特徴量を抽出した画像情報または音声情報に対応する有効値とを対応付けて特徴量特定部１１０４へ出力してもよい。
［第２の実施の形態］
図５は、本発明の第２の実施の形態における個体識別システム２の構成を示すブロック図である。図５に示されるように、本発明の第２の実施の形態における個体識別システム２は、複合センサ部２２００が第１の実施の形態における個体識別システム１と異なる。個体識別システム２のその他の構成要素については、第１の実施の形態における個体識別システム１と同様である。画像音声取得部２０００は、複合センサ部２２００との混乱を避けるため、センサ部１０００から名称が変更されているが、画像音声取得部２０００の構成は、第１の実施の形態におけるセンサ部１０００の構成と同様である。個体識別システム２の第１の実施の形態における個体識別システム１と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
第２の実施の形態において、複合センサ部２２００は、図６に示されるように、形状測定部２２０１と重量測定部２２０２と熱量測定部２２０３と速度測定部２２０４と光学特性測定部２２０５と臭気測定部２２０６と材質検査部２２０７のうち１以上を備える。複合センサ部２２００は、個体検出部１１０１に接続されている。すなわち、第２の実施の形態の第１の実施の形態との相違は、複合センサ部２２００を個体識別システムの構成に追加した点である。個体識別システム２のその他の構成要素については第１の実施の形態における個体識別システム１と同様である。
形状測定部２２０１は、個体の３次元形状および体積の情報を取得する。重量測定部２２０２は、個体の重量を測定する。熱量測定部２２０３は、個体の温度を計測する。速度測定部２２０４は、個体の速度を測定する。光学特性測定部２２０５は、個体表面の反射率や透過率、屈折率などの光学特性を測定する。臭気測定部２２０６は、個体の臭気を測定する。材質検査部２２０７は、赤外分光や超音波検査などにより、個体表面の硬度や材質などの情報を取得する。
また、複合センサ部２２００で取得した各種センサ情報は、個体の画像情報および音声情報と同様に、特徴量抽出部１１０２に出力される。そして特徴量抽出部１１０２は入力される画像情報と音声情報と各種センサ情報から特徴量抽出を行う。そして特徴量判別部１１０３は、センサ情報から抽出される特徴量と個体との対応付けおよび各特徴量の有効値算出処理を行う。
図７は、本発明を実施するための第２の実施の形態における個体識別システム２の動作の一例を示すフローチャートである。第１の実施の形態における個体識別システム１と同様の動作については図４と同一の符号を付し、詳細な説明を省略する。
第２の実施の形態は、以下の点で第１の実施の形態と異なる。１点目は、センシング情報として環境情報に含まれる画像情報と音声情報と複合センサ部２２００から取得されるセンシングデータとが入力として個体検出部１１０１に与えられる（ステップＳ２１）点である。２点目は、個体検出部１１０１がセンシング情報から個体検出を行う際に、画像情報と音声情報とに加えて複合センサから得られたセンサ情報も利用する（ステップＳ２２）点である。
第２の実施の形態の個体識別システム２は、複合センサ部２２００により、通常の画像情報や音声情報からは取得することが困難な個体の特徴を取得する。このような個体の特徴は、個体識別の際に非常に有用な情報となり得る。第２の実施の形態の個体識別システム２は、画像情報および音声情報から得られる特徴量以外の特徴量を組み合わせて利用することにより、更なる識別性能の向上が可能となる。
［第３の実施の形態］
図８は、本発明の第３の実施の形態における個体識別システム３の構成を示すブロック図である。図８に示されるように、本発明の第３の実施の形態における個体識別システム３は、生体情報取得部３２００および人物検出部３１０１が第１の実施の形態における個体識別システム１と異なる。すなわち、第１の実施の形態における識別処理装置１１００の個体検出部１１０１は、第３の実施の形態における識別処理装置３１００の人物検出部３１０１へと変更されている。個体識別システム３のその他の構成要素については第１の実施の形態における個体識別システム１と同様である。個体識別システム３の第１の実施の形態における個体識別システム１と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
第３の実施の形態における個体識別システム３の生体情報取得部３２００は、図９に示される各構成要素を備える。すなわち生体情報取得部３２００は、虹彩パターン取得部３２０１と指紋パターン取得部３２０２と掌紋パターン取得部３２０３と静脈パターン取得部３２０４と歯列パターン取得部３２０５と耳介パターン取得部３２０６と遺伝子配列情報取得部３２０７のうち１以上を備える。生体情報取得部３２００は、特徴量抽出部１１０２および特徴量判別部１１０３に接続されている。
虹彩パターン取得部３２０１は、主に赤外光源と赤外線カメラから構成され、人物の虹彩パターンを取得する。画像情報取得部１００１を構成するビデオカメラによって虹彩パターンが取得可能な場合は、画像情報取得部１００１が虹彩パターンを取得してもよい。
指紋パターン取得部３２０２は、人物の指紋パターンを取得する。指紋パターン取得部３２０２は、接触式センサにより指紋パターンを取得するような構成であってもよいし、カメラ等により非接触で指紋パターンを取得するような構成であってもよい。
掌紋パターン取得部３２０３は、人物の掌紋および掌形パターンを取得する。掌紋パターン取得部３２０３は、指紋パターン取得部３２０２と同様、接触式センサにより掌紋および掌形パターンを取得するような構成であってもよいし、カメラ等により非接触で掌紋および掌形パターンを取得するような構成であってもよい。また、掌紋パターン取得部３２０３は、指紋パターンも同時に取得するような構成であってもよい。
静脈パターン取得部３２０４は、人物の静脈パターンを取得する。静脈パターン取得部３２０４は、指、掌、手の甲、顔面、首などの部位から静脈パターンを取得するような構成であってもよいし、その他の部位から静脈パターンを取得するような構成であってもよい。また、指紋パターン取得部３２０２あるいは掌紋パターン取得部３２０３が静脈パターンも同時に取得するような構成であってもよい。
歯列パターン取得部３２０５は、人物の歯の形状および並び方のパターンを取得する。歯列パターン取得部３２０５は、歯列パターンとして、カメラで撮影した画像情報以外に、３次元形状情報を取得するようにしてもよい。
耳介パターン取得部３２０６は、人物の耳の形状パターンを取得する。耳介パターン取得部３２０６は、歯列パターン取得部３２０５と同様、画像情報以外に３次元形状情報を取得するような構成であってもよい。
遺伝子配列情報取得部３２０７は、人物の遺伝子配列情報を取得する。遺伝子配列情報取得部３２０７は、人物の皮膚、体毛、体液等から遺伝子配列情報を取得するような構成であってもよい。
人物検出部３１０１は、センサ部１０００が取得した画像情報から人物を検出する。人物検出部３１０１は、画像情報に対する顔検出や映像情報に対する歩行パターン検出などを利用することで人物を検出する。また、人物検出部３１０１は、画像情報から人物を検出するとともに、人物の顔パターンおよび歩行パターンを取得する機能も有する。
また、生体情報取得部３２００が取得した各種センサ情報は、センサ部１０００で取得した画像情報および音声情報と同様に、特徴量抽出部１１０２に出力される。そして特徴量抽出部１１０２は、入力される各種センサ情報から特徴量抽出を行う。特徴量判別部１１０３は、センサ情報から抽出される各特徴量と個体との対応付けおよび各特徴量の有効値算出処理を行う。
図１０は、本発明を実施するための第３の実施の形態における個体識別システム３の動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図４と同一の符号を付し、詳細な説明を省略する。
第３の実施の形態は、以下の点で第１の実施の形態と異なる。１点目は、識別対象が人間に限定されたことにより、センシング情報としてセンサ部１０００で取得される画像情報と音声情報と生体情報取得部３２００で取得される生体情報とが入力として個体検出部１１０１に与えられる（ステップＳ３１）点である。２点目は、人物検出部３１０１がセンシング情報から人物を検出する処理を行い、同時に検出した人物の顔パターンおよび歩行パターンを取得する（ステップＳ３２）点である。
第３の実施の形態における個体識別システム３は、識別対象が一般的な物体から人間へ限定されることで、個人識別に有効な人間の生体情報を利用し個体識別を行う。センサ部１０００が画像情報および音声情報を取得するとともに、生体情報取得部３２００が人物の生体情報を取得する。また、人物検出部３１０１が、生体情報として顔パターンや歩行パターンを取得する。人間の生体情報を利用した個人認証技術は関連技術として広く研究されている。よって本実施の形態で説明された個々の生体認証には、その関連技術が利用されればよい。
第３の実施の形態における個体識別システム３は、画像情報と音声情報、その他生体情報それぞれから抽出される特徴量と人物との対応付けを行いかつ各特徴量の有効値を算出する。そして第３の実施の形態における個体識別システム３は、その対応付けと有効値との両方に基づいて、人物検出部３１０１が検出した人物毎に、その人物の個人識別処理に用いる特徴量をそれぞれ特定する。個体識別システム３は、各人物に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個人識別処理に用いることができる。
結果として、第３の実施の形態における個体識別システム３は、複数の識別対象のそれぞれに対して個人識別に用いるための適切な特徴量を特定することができる。これにより個体識別システム３は、環境の変動にロバストでかつ複数人を同時に識別しなければならない場合においても、より高精度な個人識別処理が可能となる。
［第４の実施の形態］
図１１は、本発明の第４の実施の形態における個体識別システム４の構成を示すブロック図である。
図１１に示されるように、本発明の第４の実施の形態における個体識別システム４は、センサ部４０００と識別処理装置４１００とデータベース部４１０７を備える。そして、センサ部４０００と識別処理装置４１００と、および識別処理装置４１００とデータベース部４１０７と、はそれぞれ通信可能に接続されている。
センサ部４０００は、映像情報を取得するビデオカメラと音声情報を取得するマイクロホンであり、それぞれがネットワークインタフェース等の通信手段を備える。センサ部４０００は、映像情報と音声情報を同時に取得可能なビデオカメラで構成される場合もある。
識別処理装置４１００は、コンピュータであり、少なくともＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリおよびネットワークインタフェース等の通信手段を備える。識別処理装置４１００は、フレキシブルディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータで読み取り可能な記録媒体を読み取るための読取装置や、磁気記憶装置を備える場合もある。識別処理装置４１００は、ネットワークインタフェースから受信したプログラムコードをメモリ上に展開し、あるいは、ＣＤ−ＲＯＭまたは磁気記憶装置などに記憶されたプログラムコードを読み出してメモリ上に展開する。そして識別処理装置４１００は、展開されたプログラムコードをＣＰＵが解釈実行することで図１１に示すような人物検出部４１０１、特徴量抽出部４１０２、特徴量判別部４１０３、特徴量特定部４１０４、データベース追加処理部４１０５および照合部４１０６として各種機能を実現するコンピュータとして動作する。第４の実施の形態では、識別処理装置４１００はいわゆるパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である。
データベース部４１０７は、少なくともネットワークインタフェース等の通信手段および磁気記憶装置を備える。磁気記憶装置には、複数人の顔特徴量情報と音声特徴量情報が記憶されている。磁気記憶装置は、顔特徴量情報と音声特徴量情報について、一人物につき少なくともどちらかを１以上記憶している。そして磁気記憶装置は、どちらの特徴量も一人物につき複数記憶しておいてもよい。また、顔特徴量情報と音声特徴量情報は、関係データベース管理システム（ＲＤＢＭＳ：Ｒｅｌａｔｉｏｎａｌ  Ｄａｔａｂａｓｅ  Ｍａｎａｇｅｍｅｎｔ  Ｓｙｓｔｅｍ）によって管理されていてもよい。なお、第４の実施の形態は、特徴量が顔パターンと音声パターンとである実施の形態である。そして第４の実施の形態における個体識別システム４は、他の特徴量を利用した個体識別システムにも当然適用できる。
第４の実施の形態は、データベース部４１０７に登録されている人物が２人存在（以下人物Ａおよび人物Ｂとする）し、人物Ａのみが発話している状況において個体識別システム４が人物Ａおよび人物Ｂを識別する場合を示す実施の形態の例であるとする。
図１２は、本発明を実施するための第４の実施の形態における個体識別システム４の動作を示すフローチャートである。
センサ部４０００は、人物Ａおよび人物Ｂが映った映像情報および発話の音声情報を取得し人物検出部４１０１へ渡す（ステップＳ４１）。
人物検出部４１０１は、顔検出等の処理により空間内に人物が２人存在することを検出し、検出した顔画像データと音声データとを特徴量抽出部４１０２および特徴量判別部４１０３へ渡す（ステップＳ４２）。
特徴量抽出部４１０２は、人物検出部４１０１から取得した顔画像データおよび音声データから個人識別のための特徴量を抽出する（ステップＳ４３）。
特徴量判別部４１０３は、人物検出部４１０１から取得した顔画像データを利用し話者推定等により発話者を特定するとともに発話者の顔画像および音声データと発話者とを対応付ける（ステップＳ４４）。また、特徴量判別部４１０３は、人物検出部４１０１から取得した顔画像および音声信号の状態からその顔画像または音声信号から抽出される特徴量の有効度を算出する（ステップＳ４５）。
特徴量特定部４１０４は、特徴量判別部４１０３で得られた特徴量と発話者との対応関係および各特徴量の有効度とに基づき、特徴量抽出部４１０２で取得された特徴量から発話者の照合に利用する特徴量を特定し適切な重み付けをする（ステップＳ４６）。
照合部４１０６は、特徴量特定部４１０４で特定した特徴量とデータベース部４１０７に記憶された特徴量とを照合し、１人の人物の照合スコアを算出する（ステップＳ４７）。
第４の実施の形態では、２人の人物ともデータベースに登録されている状況が想定されているため、データベース追加処理部４１０５によるデータベース追加処理は、実行されない（ステップＳ４８において「ＮＯ」（登録済み）の場合）。その後、未識別の人物がもう１名存在しているため、もう１名の人物を照合するための処理（ステップＳ４４以降）が繰り返し実行される（ステップＳ５０において「ＹＥＳ」（未識別人物あり）の場合）。２人の人物ともに照合が完了した場合、未識別の人物は存在しないため処理が終了される（ステップＳ５０において「ＮＯ」（未識別人物なし）の場合）。
上記特許文献１に記載された個人認識システムでは、人物が存在する空間の環境情報を取得する取得手段により取得される画像情報および音声情報が一人物の場合のみに限定されている。よって上記特許文献１に記載された個人認識システムは、第４の実施の形態で想定された状況では正確な識別を行うための適切な特徴量の特定が困難である。それに対し、本発明の第４の実施の形態における個体識別システム４は、人物が２名以上存在するような状況であっても複数の識別対象のそれぞれに対して個人識別に用いるための適切な特徴量を特定することができる。
［第５の実施の形態］
図１３は、本発明の第５の実施の形態における特徴量特定装置５０の構成を示すブロック図である。
図１３を参照すると、本実施の形態の特徴量特定装置５０は、レジストレーション部５００１と、有効値算出部５００２と、特徴量特定部５００３とを備える。
レジストレーション部５００１は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される個体を示す情報と、その個体のそれぞれの位置を示す位置情報とを受け取る。またレジストレーション部５００１は、前述の環境情報から抽出される特徴量と、その特徴量のそれぞれの属性を示す属性情報とを受け取る。そしてレジストレーション部５００１は、受け取った位置情報と属性情報とに基づいて、受け取った特徴量のそれぞれが発生した個体を判別する。
有効値算出部５００２は、レジストレーション部５００１が受け取った特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。
特徴量特定部５００３は、レジストレーション部５００１による判別結果と、有効値算出部５００２が算出する有効値とに基づいて、以下の処理を行う。すなわち特徴量特定部５００３は、レジストレーション部５００１が受け取った個体を示す情報で特定される個体毎に、その個体の個体識別処理に用いる特徴量をそれぞれ特定する。
本実施の形態の特徴量特定装置５０は、個体識別処理の対象となる個体の種類を示す属性情報と、環境情報から抽出される特徴量の種類を示す属性情報とに基づいて、個体と特徴量とを対応付ける。したがって本実施の形態の特徴量特定装置５０は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することができる。
以上、これまで述べてきた各実施の形態は、本発明の好適な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではない。各実施の形態は、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
例えば、個体識別システムとして、上記第１の実施の形態、第２の実施の形態、第３の実施の形態、第４の実施の形態および第５の実施の形態を互いに組み合わせた実施形態が構成されてもよい。
また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。この場合、コンピュータは、個体識別プログラムが読み込まれ実行される中央処理装置（ＣＰＵ）、特徴量をデータベースとして記憶する記憶装置（ハードディスク等）、およびカメラやマイクなどの入力手段を備える。
本発明の第１の実施の形態を例にとれば、ＣＰＵに読み込まれた個体識別プログラムは、コンピュータを第１の実施の形態において説明された識別処理装置１１００として機能させる。
本発明の効果の一例は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することが可能となることである。
この出願は、２０１０年８月９日に出願された日本出願特願２０１０−１７８６４４を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
を備える特徴量特定装置。
（付記２）
前記特徴量特定部は、前記個体毎に、前記判別の結果に基づいて一の個体から発生したと判別された特徴量の中で前記有効値が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１に記載の特徴量特定装置。
（付記３）
前記レジストレーション部は、前記環境情報から抽出される特徴量毎に、その特徴量が各個体から発生した確率を個体毎に算出し、
前記特徴量特定部は、前記有効値と前記確率とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する、請求項１または２に記載の特徴量特定装置。
（付記４）
前記特徴量特定部は、前記有効値と前記確率との積が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項３に記載の特徴量特定装置。
（付記５）
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
各個体の位置情報に基づいて特定される位置と各特徴量の属性情報に基づいて特定される位置との差分に基づいて、前記各特徴量のそれぞれが、前記各個体から発生した特徴量である確率をそれぞれ算出する、請求項３または４に記載の特徴量特定装置。
（付記６）
前記レジストレーション部は、
前記個体の前記位置情報とともに当該個体が検出された時刻を示す情報を受け取り、当該位置情報と当該時刻を示す情報とを対応付け、前記特徴量の前記属性情報とともに当該特徴量が特定された時刻を示す情報を受け取り、当該属性情報と当該時刻を示す情報とを対応付け、第一の個体の位置情報と各位置情報に対応付けられている時刻を示す情報とに基づいて当該第一の個体の位置の時間変化を示すベクトルを生成し、第一の特徴量の属性情報と各属性情報に対応付けられている時刻を示す情報とに基づいて当該第一の特徴量の位置の時間変化を示すベクトルを生成し、第二の個体に基づいて生成されたベクトルと第二の特徴量に基づいて生成されたベクトルとの差分に基づいて特定されるベクトルの長さが所定の値未満である場合に、当該第二の特徴量は当該第二の個体から発生した特徴量と判別する、請求項１ないし５のいずれか１項に記載の特徴量特定装置。
（付記７）
前記特徴量特定装置は、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１ないし６のいずれか１項に記載の特徴量特定装置。
（付記８）
個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、
前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、
前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、
前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、
を備える個体識別システム。
（付記９）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定方法。
（付記１０）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラム。
（付記１１）
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
一の個体の位置情報に基づいて特定される位置と一の特徴量が発生した位置との差分が所定の閾値以下の場合に、前記一の特徴量が、前記一の個体から発生した特徴量であると特定する、付記１に記載の特徴量特定装置。
（付記１２）
前記特徴量特定部は、
個体の位置情報と特徴量の属性情報とを対応付けた情報である対応付け情報を記憶し、
一の個体の位置情報を含む前記対応付け情報に対応する特徴量の属性情報を持つ当該特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、付記１に記載の特徴量特定装置。
（付記１３）
前記個体の位置情報は、個体の移動方向を示す情報を含み、
前記特徴量の属性情報は、音量が増大しているか減少しているかを示す情報を含み、
前記特徴量特定部は、
第一の個体の属性情報が第一の方向を示す情報を含む場合に、音量が増大している情報を含む属性情報を持つ特徴量を、当該第一の個体の個体識別処理に用いる特徴量と特定し、
第二の個体の属性情報が前記第一の方向の反対方向である第二の方向を示す情報を含む場合に、音量が減少している情報を含む属性情報を持つ特徴量を、当該第二の個体の個体識別処理に用いる特徴量と特定する、付記１に記載の特徴量特定装置。
（付記１４）
前記環境情報を取得する環境情報取得部と、
前記環境情報から前記個体を、それぞれの個体の種類を示す属性情報と共に検出し、それらを前記レジストレーション部へ出力する個体検出部と、
前記環境情報から前記特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出し、それらを前記レジストレーション部へ出力する特徴量抽出部と、
を備える、付記１に記載の特徴量特定装置。
（付記１５）
前記個体識別システムは、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記照合部は、前記特徴量特定部が特定した特徴量に基づいて当該特徴量に対応付けられている個体の識別に利用される照合用の特徴量を前記データベース部から読み出し、前記特徴量特定部が特定した特徴量と、前記データベース部から読み出した特徴量との相関を示す照合スコアを算出し、当該照合スコアが所定の閾値以上の場合に、前記特徴量特定部が特定した特徴量と前記個体を示す情報と当該特徴量の属性情報とを対応付けて前記データベース部に記憶し、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、付記８に記載の個体識別システム。
【符号の説明】
【０００９】
１    個体識別システム
２    個体識別システム
３    個体識別システム
４    個体識別システム
５０    特徴量特定装置
１０００    センサ部
１００１    画像情報取得部
１００２    音声情報取得部
２０００    画像音声取得部
４０００    センサ部
１１００    識別処理装置
３１００    識別処理装置
４１００    識別処理装置
１１０１    個体検出部
３１０１    人物検出部
４１０１    人物検出部
１１０２    特徴量抽出部
４１０２    特徴量抽出部
１１０３    特徴量判別部
４１０３    特徴量判別部
１１１３    レジストレーション部
５００１    レジストレーション部
１１２３    有効値算出部
５００２    有効値算出部
１１０４    特徴量特定部
４１０４    特徴量特定部
５００３    特徴量特定部
１１０５    データベース追加処理部
４１０５    データベース追加処理部
１１０６    照合部
４１０６    照合部
１１０７    データベース部
４１０７    データベース部
２２００    複合センサ部
２２０１    形状測定部
２２０２    重量測定部
２２０３    熱量測定部
２２０４    速度測定部
２２０５    光学特性測定部
２２０６    臭気測定部
２２０７    材質検査部
３２００    生体情報取得部
３２０１    虹彩パターン取得部
３２０２    指紋パターン取得部
３２０３    掌紋パターン取得部
３２０４    静脈パターン取得部
３２０５    歯列パターン取得部
３２０６    耳介パターン取得部
３２０７    遺伝子配列情報取得部
【図１】
2012020591.tif 000003
【図２】
2012020591.tif 000004
【図３】
2012020591.tif 000005
【図４】
2012020591.tif 000006
【図５】
2012020591.tif 000007
【図６】
2012020591.tif 000008
【図７】
2012020591.tif 000009
【図８】
2012020591.tif 000010
【図９】
2012020591.tif 000011
【図１０】
2012020591.tif 000012
【図１１】
2012020591.tif 000013
【図１２】
2012020591.tif 000014
【図１３】
2012020591.tif 000015
【図１４】
2012020591.tif 000016
【手続補正書】
【提出日】平成25年2月7日(2013.2.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
を備える特徴量特定装置。
【請求項２】
前記特徴量特定部は、前記個体毎に、前記判別の結果に基づいて一の個体から発生したと判別された特徴量の中で前記有効値が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１に記載の特徴量特定装置。
【請求項３】
前記レジストレーション部は、前記環境情報から抽出される特徴量毎に、その特徴量が各個体から発生した確率を個体毎に算出し、
前記特徴量特定部は、前記有効値と前記確率とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する、請求項１または２に記載の特徴量特定装置。
【請求項４】
前記特徴量特定部は、前記有効値と前記確率との積が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項３に記載の特徴量特定装置。
【請求項５】
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
各個体の位置情報に基づいて特定される位置と各特徴量の属性情報に基づいて特定される位置との差分に基づいて、前記各特徴量のそれぞれが、前記各個体から発生した特徴量である確率をそれぞれ算出する、請求項３または４に記載の特徴量特定装置。
【請求項６】
前記レジストレーション部は、
前記個体の前記位置情報とともに当該個体が検出された時刻を示す情報を受け取り、当該位置情報と当該時刻を示す情報とを対応付け、前記特徴量の前記属性情報とともに当該特徴量が特定された時刻を示す情報を受け取り、当該属性情報と当該時刻を示す情報とを対応付け、第一の個体の位置情報と各位置情報に対応付けられている時刻を示す情報とに基づいて当該第一の個体の位置の時間変化を示すベクトルを生成し、第一の特徴量の属性情報と各属性情報に対応付けられている時刻を示す情報とに基づいて当該第一の特徴量の位置の時間変化を示すベクトルを生成し、第二の個体に基づいて生成されたベクトルと第二の特徴量に基づいて生成されたベクトルとの差分に基づいて特定されるベクトルの長さが所定の値未満である場合に、当該第二の特徴量は当該第二の個体から発生した特徴量と判別する、請求項１ないし５のいずれか１項に記載の特徴量特定装置。
【請求項７】
前記特徴量特定装置は、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１ないし６のいずれか１項に記載の特徴量特定装置。
【請求項８】
個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、
前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、
前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、
前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、
を備える個体識別システム。
【請求項９】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定方法。
【請求項１０】
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個体識別システム、特徴量特定装置、特徴量特定方法およびプログラムに関し、特に識別対象の複数の個体のそれぞれに対して特徴量を特定する個体識別システム、特徴量特定装置、特徴量特定方法およびプログラムに関する。
【背景技術】
【０００２】
個体の識別に際し、複数の特徴量を用いて認証を行う技術が知られている。複数の特徴量を用いて個体識別を行う技術において、個体識別のための照合に用いる特徴の検出信号の品質が考慮されていない。よって、例えば特徴の計測条件が良好でなくSN比(signal-to-noise ratio)が悪い状況において、すべての特徴を用いての照合における誤り発生率は、検出信号の品質の良い特徴だけを用いた照合における誤り発生率と比べて高くなる。
【０００３】
この課題を解決する技術の一例が、特許文献１に記載されている。
【０００４】
特許文献１に記載された個人認識システムは、取得手段と、収集手段と、計算手段と、特定手段と、認識手段とを備える。取得手段は、人が存在する空間の環境情報を取得する。収集手段は、取得手段が取得した環境情報から複数種の特徴量を収集する。計算手段は、収集手段が収集したそれぞれの特徴量について、有効値を求める。特定手段は、計算手段が計算したそれぞれの有効値に基づいて、個人認識処理のために用いる特徴量を特定する。認識手段は、特定手段が特定した特徴量を用いて個人認識処理を行う。
【０００５】
有効値とは、特徴の検出信号の品質を表した数値である。例えば有効値は、特徴の計測条件が良好でなくSN比が悪い場合、より検出信号の品質のよい特徴を選択的に照合に利用するといった処理を可能とする指標である。
【０００６】
このような構成を有する個人認識システムは、次のように動作する。
【０００７】
すなわち、取得手段が環境情報を取得し、取得した環境情報から、収集手段が複数種の特徴量を収集する。そして計算手段がそれぞれの特徴の有効値を算出し、算出した有効値に基づいて特定手段が個人認識処理のために用いる特徴量を特定する。そして認識手段は、特定手段が特定した特徴量を用いて個人認識処理を行う。
【０００８】
複数の個体を同時に認証する技術が特許文献２に記載されている。
【０００９】
特許文献２に記載された認証システムは、複数の重量測定ユニットによって構成される重量測定床と、重量センサ部と、コントローラと、情報処理装置とを備える。そしてこの認証システムの重量測定床を、複数の認証対象者が通過すると、各重量センサ部が重量の測定を行う。測定結果は、コントローラを介して情報処理装置に通知される。そして、情報処理装置は、各認証対象者に関する情報をそれぞれ分離し、重心移動などの歩行データを求める。そして情報処理装置は、記憶しているデータと比較し、一致すればその認証対象者に認証許可を与える。
【００１０】
複数の個体から出力される複数の特徴量のそれぞれを、それぞれを出力した個体に対応付ける技術が特許文献３に記載されている。
【００１１】
特許文献３に記載された会議システムは、複数のマイクロホンと、音声認識手段と、位置特定手段と、関連付ける手段と、合成手段とを備える。そして、音声認識手段は、各マイクロホンに入力された音声をそれぞれ認識する。また位置特定手段は、撮像画像における発言者の位置を特定する。関連付ける手段は、音声認識手段が認識して得た発言文字情報および位置特定手段が特定した発言者の位置を示す使用者位置情報を関連付ける。合成手段は、発言文字情報にかかる文字画像を、撮像画像における使用者位置情報が示す位置に応じた画像部分に合成する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−２９３６４４号公報
【特許文献２】特開２００５−０７８２２８号公報
【特許文献３】特開２００９−１９４８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した特許文献１に記載された個人認識システムは、取得手段により取得される環境情報に含まれる特徴量が一つの認識対象より発生された場合のみを想定している。そのため、環境情報を取得する空間内に複数の認識対象が存在する場合、特許文献１に記載された個人認識システムは、収集手段により収集された特徴量がすべて一つの対象から得られた特徴量であるとみなしてしまう。したがって特許文献１に記載された個人認識システムは、複数の認識対象のそれぞれに対して個体認識に用いるための適切な特徴量を特定することが困難である。
【００１４】
例えば、環境情報を取得するための空間中に２つの人物が存在し、一方の人物からは顔の特徴量のみが取得され、もう一方の人物からは音声の特徴量のみが取得され、取得されたそれぞれの特徴量の有効値が高い場合がある。この場合、特許文献１に記載された個人認識システムは、取得された顔の特徴量と音声の特徴量とが同一人物から得られた情報であると判断してしまう。つまり特許文献１に記載された個人認識システムは、結果的に誤識別を招いてしまう。
【００１５】
上述した特許文献２に記載された認証システムは、一種類の特徴量に基づいて認証を行う。したがって特許文献２に記載された認証システムは、複数の特徴量が収集されている場合に、複数の認証対象のそれぞれに対して個体認証に用いるための適切な特徴量を特定することが困難である。
【００１６】
上述した特許文献３に記載された会議システムは、画像情報から得られる特徴量が検出された位置と音声情報から得られる特徴量が検出された位置とに基づいてそれぞれの特徴量を対応付ける。そして会議システムは、画像情報から得られる特徴量に基づいて個体認識を行うことで個体を特定する。そして会議システムは、その個体と画像情報から得られる特徴量と音声情報から得られる特徴量とを対応付ける。つまり特許文献３に記載された会議システムは、複数の特徴量に基づいて個体の特定を行えないので、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することは困難である。
【００１７】
本発明の目的の一例は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定する個体識別システム、特徴量特定装置、特徴量特定方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１８】
本発明の一形態における第一の特徴量特定装置は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、を備える。
【００１９】
本発明の一形態における第一の個体識別システムは、個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、を備える。
【００２０】
本発明の一態様における第一の特徴量特定方法は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する。
【００２１】
本発明の一態様における第一のプログラムは、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラム。
【発明の効果】
【００２２】
本発明の効果の一つは、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することが可能となる点にある。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１の実施の形態の個体識別システム１の構成例を示すブロック図である。
【図２】図２は、第１の実施の形態のセンサ部１０００の構成例を示すブロック図である。
【図３】図３は、第１の実施の形態の特徴量判別部１１０３の構成例を示すブロック図である。
【図４】図４は、第１の実施の形態の個体識別システム１の動作例を示すフローチャートである。
【図５】図５は、第２の実施の形態の個体識別システム２の構成例を示すブロック図である。
【図６】図６は、第２の実施の形態の複合センサ部２２００の構成例を示すブロック図である。
【図７】図７は、第２の実施の形態の個体識別システム２の動作例を示すフローチャートである。
【図８】図８は、第３の実施の形態の個体識別システム３の構成例を示すブロック図である。
【図９】図９は、第３の実施の形態の生体情報取得部３２００の構成例を示すブロック図である。
【図１０】図１０は、第３の実施の形態の個体識別システム３の動作例を示すフローチャートである。
【図１１】図１１は、第４の実施の形態の個体識別システム４の構成例を示すブロック図である。
【図１２】図１２は、第４の実施の形態の個体識別システム４の動作例を示すフローチャートである。
【図１３】図１３は、第５の実施の形態の特徴量特定装置５０の構成例を示すブロック図である。
【図１４】図１４は、データベース部１１０７に記憶される情報の一例を示す図である。
【発明を実施するための形態】
【００２４】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００２５】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における個体識別システム１の構成を示すブロック図である。
【００２６】
図１に示されるように、本発明の第１の実施の形態における個体識別システム１は、センサ部１０００と識別処理装置１１００とを備える。
【００２７】
センサ部１０００の構成について説明する。
【００２８】
センサ部１０００は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報を取得する。以降、個体識別処理の対象となる個体が存在する空間を単に実空間と称する。
【００２９】
環境情報は、実空間における画像情報を含んでもよい。この場合、センサ部１０００は、具体的な構成として、図２に示されるように実空間の画像情報を取得する画像情報取得部１００１を備えてもよい。また環境情報は、実空間における音声情報を含んでもよい。この場合センサ部１０００は、具体的な構成として、図２に示されるように実空間の音声情報を取得する音声情報取得部１００２を備えてもよい。
【００３０】
画像情報取得部１００１は、具体的には、実空間の映像や静止画像を撮影できるビデオカメラであってもよい。また音声情報取得部１００２は、具体的には、実空間の音声を取得できるマイクロホンであってもよい。音声情報取得部１００２を構成するマイクロホンは、音声が発生した位置を特定できる指向性を持つ機能を備えてもよい。
【００３１】
なお、画像情報取得部１００１および音声情報取得部１００２は、実空間上の２以上の位置に複数配置されてもよい。
【００３２】
また、実空間の環境情報を取得する手段は、上記の構成に限定されるものではない。例えば実空間の環境情報を取得する手段は、外部記憶装置に保持されている実空間の環境情報を読み出すことによって取得してもよい。
【００３３】
本実施の形態では、環境情報とは、画像情報および音声情報を含む情報であると仮定する。
【００３４】
識別処理装置１１００の構成について説明する。
【００３５】
識別処理装置１１００は、個体検出部１１０１、特徴量抽出部１１０２、特徴量判別部１１０３、特徴量特定部１１０４、データベース追加処理部１１０５、照合部１１０６およびデータベース部１１０７を備える。
【００３６】
第１の実施の形態における識別処理装置１１００は、環境情報から抽出される特徴量のそれぞれが発生した個体を判別する。そして識別処理装置１１００は、環境情報から抽出される特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。そして識別処理装置１１００は、判別された結果と算出された有効値とに基づいて、環境情報から検出された個体毎に、個体識別処理に用いる特徴量をそれぞれ特定する。
【００３７】
よって第１の実施の形態における識別処理装置１１００は、各個体に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個体識別処理に用いることができる。
【００３８】
以下、第１の実施の形態における識別処理装置１１００が備える各構成要素について詳細に説明する。
【００３９】
個体検出部１１０１は、センサ部１０００が取得した実空間の環境情報をセンサ部１０００から受け取る。そして個体検出部１１０１は、受け取った環境情報からその実空間に存在する識別対象となる個体を検出する処理を行う。また個体検出部１１０１は、受け取った環境情報からその個体の位置もその個体と共に特定する。
【００４０】
具体的には、個体検出部１１０１は、取得した環境情報に含まれる画像情報に対して背景差分法やパターンマッチングを適用することで識別対象となる個体とその個体の位置を特定してもよい。あるいは個体検出部１１０１は、環境情報として多視点画像を含む情報を受け取った場合、その多視点画像を用いて識別対象となる個体とその個体の空間上における３次元位置を特定してもよい。あるいは個体検出部１１０１は、以下のように識別対象となる個体を検出し、その個体の位置を特定してもよい。例えばセンサ部１０００が指向性マイクロホンを含む場合、個体検出部１１０１は、以下の方法で発音個体の位置を特定してもよい。すなわち個体検出部１１０１は、センサ部１０００から受け取った環境情報とセンサ部１０００が含む指向性マイクロホンの機能により特定される発音個体の推定位置とに基づいて発音個体を検出し、発音個体の位置を特定してもよい。
【００４１】
また個体検出部１１０１は、検出した個体毎に、特定された個体の位置を示す位置情報を生成する。
【００４２】
個体検出部１１０１は、検出した個体毎に、その個体を示す情報とその個体の位置情報とその位置情報に対応する、環境情報の少なくとも一部の画像情報と音声情報とを特徴量抽出部１１０２へ出力する。少なくとも一部の画像情報とは、その個体の領域を含む画像情報であってもよい。またこの画像情報は、その個体の領域を含む映像情報であってもよい。また少なくとも一部の音声情報とは、その個体の位置情報で示される位置から所定の距離以内から発生したと推定される音声を示す音声情報であってもよい。
【００４３】
また個体検出部１１０１は、検出した個体毎に、その個体を示す情報とその個体の位置情報とを後述の特徴量特定部１１０４へ出力する。
【００４４】
特徴量抽出部１１０２は、個体検出部１１０１から個体を示す情報とその個体の位置情報とその個体に対応する画像情報と音声情報とを受け取る。そして特徴量抽出部１１０２は、受け取った画像情報と音声情報とから特徴量を抽出する。具体的には、特徴量抽出部１１０２は、受け取った画像情報から取得することができる物体の色、形状、大きさ、模様などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、受け取った映像情報から取得することができる物体の動作などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、受け取った音声情報から取得することができる物体の発する音に基づく特徴量などを抽出してもよい。
【００４５】
特徴量抽出部１１０２は、特徴量を抽出する際にその特徴量の属性を特定する。特徴量の属性とは、例えば、次に挙げる属性であってもよい。
（ａ）特徴量の取得元の情報の種類
（ｂ）特徴量が人間から発生したか否か
（ｃ）特徴量が男性から発生されたか女性から発生されたか
（ｄ）特徴量を発生させた人物の人種
（ｅ）特徴量の強弱
（ｆ）特徴量の高低
（ｇ）特徴量が言語であるか否か
（ｈ）特徴量が何語であるか
（ｉ）特徴量が発生したと推定される位置
特徴量抽出部１１０２は、特定した特徴量の属性を示す属性情報を生成する。例えば特徴量の属性が、（ａ）「特徴量の取得元の情報の種類」であった場合、特徴量抽出部１１０２は、特徴量が、環境情報のうち音声情報から得られたのか、それとも画像情報から得られたのかを特定する。そして特徴量抽出部１１０２は、特定した取得元を示す情報を属性情報として生成する。
【００４６】
例えば特徴量の属性が、（ｂ）「特徴量が人間から発生したか否か」であった場合、特徴量抽出部１１０２は、その特徴量を解析し人間に特有な情報が含まれているか否か判定する。この判定方法として、既知のあらゆる方法が適用されうる。そして特徴量抽出部１１０２は、その特徴量に人間に特有な情報が含まれている場合に、その特徴量は人間から発生したことを示す情報を属性情報として生成する。
【００４７】
例えば特徴量の属性が、（ｃ）「特徴量が男性から発生されたか女性から発生されたか」であった場合、特徴量抽出部１１０２は、その特徴量を解析し男性から発生したものか女性から発生したものかを判定する。この判定方法として、既知のあらゆる方法が適用されうる。そして特徴量抽出部１１０２は、その特徴量に男性または女性に特有な情報が含まれている場合に、その特徴量は男性または女性から発生したことを示す情報を属性情報として生成する。
【００４８】
特徴量の属性が上記（ａ）〜（ｃ）以外のものであった場合でも、上記の説明と同様にそれぞれ特徴量抽出部１１０２は、所定の属性情報を生成する。
【００４９】
特徴量抽出部１１０２は、抽出された特徴量と各特徴量の属性情報とを後述の特徴量判別部１１０３へ出力する。
【００５０】
特徴量判別部１１０３は、特徴量抽出部１１０２が抽出した特徴量が実空間に存在するどの個体から得られた特徴量であるかを判別し、判別結果を出力する。そして特徴量判別部１１０３は、それぞれの特徴量の有効値を算出する。具体的には、特徴量判別部１１０３は、図３に示されるように、個体と特徴量とを対応付けるレジストレーション部１１１３と各特徴量の有効値を算出する有効値算出部１１２３とを含む。
【００５１】
レジストレーション部１１１３は、個体検出部１１０１から、個体を示す情報とその各個体の位置情報とを受け取る。またレジストレーション部１１１３は、特徴量抽出部１１０２から、特徴量とその各特徴量の属性情報とを受け取る。そしてレジストレーション部１１１３は、受け取った位置情報と属性情報とに基づいて、受け取った特徴量のそれぞれが発生した個体を判別する。
【００５２】
具体的には、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。まずレジストレーション部１１１３は、個体検出部１１０１が環境情報に基づいて特定する各個体の位置と、特徴量抽出部１１０２が特定する各特徴量が発生したと推定される位置との差分を特定する。そしてレジストレーション部１１１３は、特定された差分が所定の閾値以下であるときに、その個体と特徴量とを対応付ける。
【００５３】
または、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。すなわち、レジストレーション部１１１３は、各個体の位置の時間ごとの差分と、各特徴量が発生したと推定される位置の時間ごとの差分とが、対応する場合にその個体と特徴量とを対応付ける。ここで「対応する」とは、各差分をベクトルとし、それらのベクトルの差分で特定されるベクトルが所定の長さ未満である場合を意味してもよい。
【００５４】
この場合、個体検出部１１０１および特徴量抽出部１１０２は、個体の位置、または特徴量の属性を特定した時刻を示す情報を、それぞれの個体を示す情報または特徴量に対応付けてもよい。そして個体検出部１１０１および特徴量抽出部１１０２は、時刻を示す情報を対応付けた個体を示す情報または特徴量を特徴量判別部１１０３に出力してもよい。
【００５５】
または、センサ部１０００は、環境情報を取得した時刻をその環境情報に対応付け、その環境情報を個体検出部１１０１または特徴量抽出部１１０２に渡してもよい。そして個体検出部１１０１または特徴量抽出部１１０２は、個体の位置を示す位置情報または特徴量の属性を示す属性情報に対し、受け取った環境情報に対応付けられている時刻を対応付けてもよい。そして個体検出部１１０１または特徴量抽出部１１０２は、時刻を対応付けた個体の位置情報または特徴量の属性情報を特徴量判別部１１０３に出力してもよい。
【００５６】
または、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付けてもよい。特徴量の属性が（ｂ）「特徴量が人間から発生したか否か」であり、その属性情報が「人間である」という情報を示す場合、レジストレーション部１１１３は、以下の方法で個体と特徴量とを対応付ける。すなわちレジストレーション部１１１３は、画像情報に含まれる特徴量のうち口唇の動きを示す特徴量に基づいて話者推定を行ってもよい。そしてレジストレーション部１１１３は、話者を示すと推定された画像情報から抽出される特徴量と、音声情報から抽出される特徴量とを対応付ける。最後にレジストレーション部１１１３は、前述の対応付けられた特徴量と対応付けるべき個体を、その各特徴量と個体との関係に基づいて特定してもよい。これにより、レジストレーション部１１１３は、特徴量と個体との一対一の関係に基づく対応付けよりも高精度の対応付けを行うことができる。
【００５７】
なお、レジストレーション部１１１３は、一特徴量を一個体だけに割り当てる以外に、確率的に重みを付けて複数の個体に対して一特徴量を割り当ててもよい。例えばレジストレーション部１１１３は、一の特徴量を、第一の個体に確率８０％という重みを付けたうえで対応付け、第二の個体に確率２０％という重みを付けたうえで対応付けてもよい。
【００５８】
この確率は、特徴量がその個体から発生した確からしさを示す確率である。この確率は、以下の方法で算出されてもよい。例えば、特徴量の属性情報はその特徴量が発生したと推定される位置を示す位置情報を含む場合、レジストレーション部１１１３は、各個体の位置情報と各特徴量の属性情報とでそれぞれ特定される位置の差分に基づいて前述の確率を算出してもよい。例えば、レジストレーション部１１１３は、前述の差分が小さいほど高い確率を割り当て、差分が大きいほど低い確率を割り当ててもよい。具体的にはレジストレーション部１１１３は、差分に反比例するようにそれぞれ確率を割り当てればよい。
【００５９】
また、この確率は、特徴量の属性情報に基づいて定められてもよい。例えば、特徴量の属性情報が特徴量の種類を示す情報を含む場合、レジストレーション部１１１３は、特徴量の種類に応じて前述の確率にそれぞれ重みをつけてもよい。
【００６０】
有効値算出部１１２３は、特徴量が抽出された画像情報および音声情報の信号強度などに基づいて特徴量の品質を示す有効値を算出する。有効値の算出方法として、信号のSN比や信号強度の情報を利用して定量的に算出する方法や、予め収集した学習データを利用したニューラルネットワークやサポートベクトルマシンにより算出する方法がある。また有効値の算出方法として、特許文献１に記載の方法が適用されても良い。これらは例示であって、有効値の算出方法は、上記に限られない。
【００６１】
特徴量特定部１１０４は、特徴量抽出部１１０２が抽出した特徴量の中から、個体の識別に利用する特徴量を、個体検出部１１０１が検出した個体毎に特定する。具体的には、特徴量特定部１１０４は、特徴量判別部１１０３で得られた特徴量の判別結果および有効値を利用し、個体識別処理のための照合に利用される特徴量を特定する。
【００６２】
例えば、特徴量特定部１１０４は、個体検出部１１０１が検出した個体毎に、一の個体から発生したと判別された特徴量の有効値をそれぞれ参照する。そして、特徴量特定部１１０４は、参照されたそれぞれの有効値が所定の閾値以上の特徴量をその一の個体の個体識別処理に用いる特徴量と特定する。この所定の閾値はあらかじめ定められる定数であってもよい。あるいはこの所定の閾値は、特徴量の属性情報に基づいて特徴量特定部１１０４によって算出される値であってもよい。
【００６３】
レジストレーション部１１１３が、確率的に重み付けをつけて複数の個体に対して一特徴量を割り当てている場合、特徴量特定部１１０４は以下の方法によって個体の識別に利用する特徴量を、個体検出部１１０１が検出した個体毎に特定してもよい。すなわち特徴量特定部１１０４は、個体検出部１１０１が検出した個体毎に、一の個体から発生したと判別された特徴量の有効値と、その特徴量がその一の個体から発生したと推定された確率との積をそれぞれ算出する。そして特徴量特定部１１０４は、算出した積が所定の閾値以上である場合に、その特徴量をその一の個体の個体識別処理に用いる特徴量と特定する。
【００６４】
また特徴量特定部１１０４は、後述のデータベース部１１０７を参照することによって、各個体の個体識別処理に用いる特徴量を特定してもよい。具体的には、特徴量特定部１１０４は、ある個体を示す情報に対応付けられている特徴量がデータベース部１１０７に記憶されているか否か判定する。そして、特徴量特定部１１０４は、データベース部１１０７に記憶されていると判定した場合に、その特徴量の属性情報に対応する属性情報を持つ特徴量を前述の個体の個体識別処理に用いる特徴量と特定する。
【００６５】
データベース部１１０７は、さまざまな個体から取得された複数種の特徴量を記憶する。特徴量の種類とは、物体の色、形状、大きさ、模様のようなテクスチャパターンなどに基づく画像特徴、物体の動作などに基づく映像特徴、物体の発する音に基づく音声特徴などを含む。それぞれの種類の特徴量が個体毎に対応付けられてデータベース部１１０７に登録される。
【００６６】
なお、データベース部１１０７は、識別処理装置１１００と通信可能に接続されていれば識別処理装置１１００の外部に設置されるような構成であってもよい。また各特徴量はその特徴量の種類を示す情報と対応付けられてデータベース部１１０７に記憶されてもよい。さらに各特徴量は、その特徴量の属性情報と対応付けられてデータベース部１１０７に記憶されてもよい。さらに各特徴量は、特徴量判別部１１０３がその特徴量と対応付けた個体を示す情報と対応付けられてデータベース部１１０７に記憶されてもよい。
【００６７】
図１４は、データベース部１１０７に記憶される情報を示す一例である。図１４を参照すると、データベース部１１０７は、個体を示す情報と、各個体に対応付けられている特徴量と、その特徴量の属性情報と、をそれぞれ対応付けて記憶している。図１４において、特徴量の属性情報とは、その特徴量が発生したと推定される位置を示す情報である。
【００６８】
照合部１１０６は、特徴量特定部１１０４によって特定された特徴量と、データベース部１１０７に蓄積された特徴量とを照合し、個体識別を行う。照合部１１０６は、特徴量特定部１１０４によって特定された特徴量とデータベース部１１０７に蓄積された特徴量との相関を示す相関値がある閾値以上あるいは前述の特徴量間の距離がある閾値以下となった場合、それらの特徴量の類似性が高いと判定する。そしてこの場合に照合部１１０６は、それぞれの特徴量に対応付けられている個体は同一であると判定する。
【００６９】
照合部１１０６は、特徴量特定部１１０４によって特定された特徴量について、データベース部１１０７に蓄積された特徴量のすべてに対する相関値あるいは特徴量間の距離を算出する。そして照合部１１０６は、データベース部１１０７に蓄積されたすべての特徴量に対して相関値がある閾値以下あるいは特徴量間の距離がある閾値以上であるか否か判定する。データベース部１１０７に蓄積されたすべての特徴量に対して相関値がある閾値以下あるいは特徴量間の距離がある閾値以上であった場合、照合部１１０６は、以下の処理を行う。すなわち照合部１１０６は、その対象の個体がデータベース部１１０７に未登録であると判定する。照合部１１０６によりその対象の個体が未登録と判断された場合、後述のデータベース追加処理部１１０５が特徴量特定部１１０４で特定された特徴量とその個体を示す情報とを対応付けてデータベース部１１０７へ登録する。
【００７０】
これにより、次回以降その個体が実空間に存在した場合、照合部１１０６は、データベース部１１０７へ登録された特徴量を用いた照合を行うことにより、その個体の識別処理を行うことができる。
【００７１】
データベース追加処理部１１０５は、照合部１１０６がデータベース部１１０７に未登録であると判定した個体を示す情報とその個体を識別するために用いる特徴量とを照合部１１０６から受け取る。またデータベース追加処理部１１０５は、受け取った特徴量の属性情報も受け取る。そしてデータベース追加処理部１１０５は、受け取った情報をそれぞれ対応付けてデータベース部１１０７に記憶する。
【００７２】
図４は、本発明を実施するための第１の実施の形態における個体識別システム１の動作を示すフローチャートである。
【００７３】
画像情報取得部１００１は、実空間中の環境情報に含まれる画像情報を取得する。そして音声情報取得部１００２は、実空間中の環境情報に含まれる音声情報を取得する（ステップＳ１）。センサ部１０００は、取得した環境情報、すなわち画像情報および音声情報を個体検出部１１０１へ出力する。
【００７４】
個体検出部１１０１は、センサ部１０００から出力された画像情報および音声情報を解析し、識別すべき個体を検出し、その個体の位置情報を特定する。そして個体検出部１１０１は、検出した個体を示す情報とその個体の位置情報とを特徴量抽出部１１０２および特徴量判別部１１０３へ出力する。また個体検出部１１０１は、検出した個体毎に、その個体を示す情報と、その個体の位置情報と、その位置情報に対応する、環境情報の少なくとも一部の画像情報と、環境情報の少なくとも一部の音声情報とを特徴量抽出部１１０２へ出力する（ステップＳ２）。具体的には、個体検出部１１０１は、画像情報に対する背景差分法やパターンマッチングによる物体検出処理、多視点画像を利用した３次元位置検出処理、指向性マイクロホンを利用した音声による発音物体の位置検出処理などを組み合わせて利用する。そして個体検出部１１０１は、前述の組み合わされた処理により、識別対象となる個体を検出しその個体の位置情報を特定する。
【００７５】
特徴量抽出部１１０２は、個体検出部１１０１から受け取る画像情報および音声情報から個体を識別するための特徴量を抽出し、特徴量特定部１１０４へ出力する（ステップＳ３）。具体的には、特徴量抽出部１１０２は、画像情報から取得することができる物体の色、形状、大きさ、模様などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、映像情報から取得することができる物体の動作などに基づく特徴量を抽出してもよい。あるいは特徴量抽出部１１０２は、音声情報から取得することができる物体の発する音に基づく特徴量などを抽出してもよい。
【００７６】
特徴量判別部１１０３は、個体検出部１１０１から入力された個体に対応する画像情報および音声情報とその個体の位置情報を利用し、特徴量抽出部１１０２が抽出した特徴量のそれぞれが発生した個体を判別する（ステップＳ４）。具体的には、特徴量判別部１１０３は、個体の空間位置と音声信号の方向の関係や、映像情報から得られる個体の動作と音声信号の移動方向の関係などを考慮することで、特徴量のそれぞれが発生した個体を判別する。そして特徴量判別部１１０３は、その判別結果を特徴量特定部１１０４へ出力する。
【００７７】
さらに、特徴量判別部１１０３は、個体検出部１１０１から入力された個体の画像情報および音声情報の有効性を表す有効値を算出し、特徴量特定部１１０４へ出力する（ステップＳ５）。有効値の算出方法として、例えば、信号のSN比や信号強度などの情報を利用して定量的に算出する方法や、予め収集された学習データを利用したニューラルネットワークやサポートベクトルマシンにより算出する方法などがある。
【００７８】
特徴量特定部１１０４は、特徴量抽出部１１０２から入力された複数種の特徴量と特徴量判別部１１０３から入力された判別結果および各信号の有効値を利用し、対象となる個体の識別に有効な特徴量を特定する（ステップＳ６）。特定された特徴量は照合部１１０６へ出力される。照合部１１０６は特徴量特定部１１０４から入力された特徴量とデータベース部１１０７に蓄積されている複数種の特徴量を照合し、２つの特徴量間の相関を示す照合スコアを算出する（ステップＳ７）。照合部１１０６は、特徴量の組毎に相関値あるいは距離を算出し、それらを統合することで照合スコアを算出する。相関値あるいは距離の統合の方法として、それぞれの値の平均値をとる方法や最大値をとる方法、またはそれぞれの値の加算や乗算などがある。また、相関値あるいは距離の統合の方法として、予め用意した学習データを利用してニューラルネットワークやサポートベクトルマシンによって統合する方法もある。本機能を有するシステムが構築される際には、上記統合方法のうち少なくとも１つが実装されればよい。
【００７９】
照合部１１０６は、算出した照合スコアがある第一の閾値以下（距離ベースの照合スコアだった場合は第一の閾値以上）であるか否か判定する。すなわち照合部１１０６は、データベース部１１０７に該当する個体が存在しないかどうか判定する（ステップＳ８）。照合部１１０６がデータベース部１１０７に該当する個体は存在しないと判定した場合（ステップＳ８で「ＹＥＳ」（未登録）の場合）、データベース追加処理部１１０５は、以下の処理を実行する。すなわちデータベース追加処理部１１０５は、特徴量特定部１１０４で特定された特徴量を新たにデータベース部１１０７へ登録する（ステップＳ９）。これにより、次回以降の個体識別が可能となる。
【００８０】
一方、算出した照合スコアが第一の閾値以上（距離ベースの照合スコアだった場合は第一の閾値以下）である場合、照合部１１０６は、データベース部１１０７に該当する個体が存在すると判定する（ステップＳ８で「ＮＯ」（登録済）の場合）。そしてこの場合、照合部１１０６による照合は、完了となる。
【００８１】
なお、照合部１１０６は以下の機能を備えてもよい。まず、照合部１１０６は、算出された照合スコアが第一の閾値よりも大幅に高いか否か判定する。なお、算出された照合スコアが距離ベースの照合スコアであった場合、照合部１１０６は、第一の閾値より大幅に小さいか否か判定する。ここで第二の閾値は、第一の閾値よりも大きい値（照合スコアが距離ベースの照合スコアであった場合、第一の閾値よりも小さい値）を示す。
【００８２】
例えば照合部１１０６は、あらかじめ定められている第二の閾値に基づいて、算出した照合スコアがその第二の閾値以上であるか否か判定する。そして照合部１１０６は、その照合スコアが所定の第二の閾値以上であった場合に、個体の照合信頼度が極めて高いと判定する。さらに照合部１１０６は、その照合スコアが所定の第二の閾値以上であった場合に、データベース部１１０７にその個体の特徴量を追加する。
【００８３】
照合部１１０６が上記の機能を備える場合、特徴量特定部１１０４は、ある個体を示す情報に対応付けられている特徴量がデータベース部１１０７に記憶されているか否か判定してもよい。そして、特徴量特定部１１０４は、データベース部１１０７に記憶されていると判定した場合に、その特徴量の属性情報に対応する属性情報を持つ特徴量を、前述の個体の個体識別処理に用いる特徴量と特定してもよい。
【００８４】
照合部１１０６による照合完了の後、個体識別システム１は、個体検出部１１０１で検出された個体の中でまだ識別処理を行っていない個体が存在するか否か判定する（ステップＳ１０）。そして、個体識別システム１は、まだ識別処理を行っていない個体が存在すると判定した場合（ステップＳ１０で「ＹＥＳ」（未識別個体あり）の場合）、ステップＳ４の特徴判別処理から同様のステップを繰り返す。この動作により、個体識別システム１は、実空間に存在する個体をすべて識別することができる。
【００８５】
一方、個体識別システム１は、個体検出部１１０１で検出された個体に対してすべて識別処理が実行されたと判定した場合（ステップＳ１０で「ＮＯ」（未識別個体なし）の場合）、識別処理を終了する。
【００８６】
第１の実施の形態における個体識別システム１は、環境情報から抽出される特徴量のそれぞれが発生した個体を判別する。そして個体識別システム１は、環境情報から抽出される特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。そして個体識別システム１は、判別された結果と算出された有効値とに基づいて、環境情報から検出された個体毎に、個体識別処理に用いる特徴量をそれぞれ特定する。
【００８７】
よって第１の実施の形態における個体識別システム１は、各個体に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個体識別処理に用いることができる。結果として、第１の実施の形態における個体識別システム１は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することができる。これにより個体識別システム１は、環境の変動にロバストでかつ複数個体を同時に識別しなければならない場合においても、より高精度な個体識別処理が可能となる。
【００８８】
なお、第１の実施の形態において、特徴量判別部１１０３は個体検出部１１０１に内包されるような構成であってもよい。この場合、個体検出部１１０１は、センサ部１０００から受け取った画像情報および音声情報から、識別する個体を検出する際に、その個体の位置を含む所定の領域内の画像情報または音声情報とその個体とを対応付けてもよい。そして個体検出部１１０１は、個体に対応付けられた画像情報または音声情報の信号強度に基づいてその画像情報または音声情報に含まれる特徴量の有効値を算出する。そして個体検出部１１０１は、個体を示す情報とその個体の位置情報とその個体に対応付けられた画像情報および音声情報とを特徴量抽出部１１０２へ出力してもよい。特徴量抽出部１１０２は、受け取った画像情報と音声情報とに基づいてそれらに含まれる特徴量をそれぞれ抽出する。そして特徴量抽出部１１０２は、抽出された特徴量毎に特徴量とその特徴量の属性情報とその特徴量を抽出した画像情報または音声情報に対応する有効値とを対応付けて特徴量特定部１１０４へ出力してもよい。
【００８９】
［第２の実施の形態］
図５は、本発明の第２の実施の形態における個体識別システム２の構成を示すブロック図である。図５に示されるように、本発明の第２の実施の形態における個体識別システム２は、複合センサ部２２００が第１の実施の形態における個体識別システム１と異なる。個体識別システム２のその他の構成要素については、第１の実施の形態における個体識別システム１と同様である。画像音声取得部２０００は、複合センサ部２２００との混乱を避けるため、センサ部１０００から名称が変更されているが、画像音声取得部２０００の構成は、第１の実施の形態におけるセンサ部１０００の構成と同様である。個体識別システム２の第１の実施の形態における個体識別システム１と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００９０】
第２の実施の形態において、複合センサ部２２００は、図６に示されるように、形状測定部２２０１と重量測定部２２０２と熱量測定部２２０３と速度測定部２２０４と光学特性測定部２２０５と臭気測定部２２０６と材質検査部２２０７のうち１以上を備える。複合センサ部２２００は、個体検出部１１０１に接続されている。すなわち、第２の実施の形態の第１の実施の形態との相違は、複合センサ部２２００を個体識別システムの構成に追加した点である。個体識別システム２のその他の構成要素については第１の実施の形態における個体識別システム１と同様である。
【００９１】
形状測定部２２０１は、個体の３次元形状および体積の情報を取得する。重量測定部２２０２は、個体の重量を測定する。熱量測定部２２０３は、個体の温度を計測する。速度測定部２２０４は、個体の速度を測定する。光学特性測定部２２０５は、個体表面の反射率や透過率、屈折率などの光学特性を測定する。臭気測定部２２０６は、個体の臭気を測定する。材質検査部２２０７は、赤外分光や超音波検査などにより、個体表面の硬度や材質などの情報を取得する。
【００９２】
また、複合センサ部２２００で取得した各種センサ情報は、個体の画像情報および音声情報と同様に、特徴量抽出部１１０２に出力される。そして特徴量抽出部１１０２は入力される画像情報と音声情報と各種センサ情報から特徴量抽出を行う。そして特徴量判別部１１０３は、センサ情報から抽出される特徴量と個体との対応付けおよび各特徴量の有効値算出処理を行う。
【００９３】
図７は、本発明を実施するための第２の実施の形態における個体識別システム２の動作の一例を示すフローチャートである。第１の実施の形態における個体識別システム１と同様の動作については図４と同一の符号を付し、詳細な説明を省略する。
【００９４】
第２の実施の形態は、以下の点で第１の実施の形態と異なる。１点目は、センシング情報として環境情報に含まれる画像情報と音声情報と複合センサ部２２００から取得されるセンシングデータとが入力として個体検出部１１０１に与えられる（ステップＳ２１）点である。２点目は、個体検出部１１０１がセンシング情報から個体検出を行う際に、画像情報と音声情報とに加えて複合センサから得られたセンサ情報も利用する（ステップＳ２２）点である。
【００９５】
第２の実施の形態の個体識別システム２は、複合センサ部２２００により、通常の画像情報や音声情報からは取得することが困難な個体の特徴を取得する。このような個体の特徴は、個体識別の際に非常に有用な情報となり得る。第２の実施の形態の個体識別システム２は、画像情報および音声情報から得られる特徴量以外の特徴量を組み合わせて利用することにより、更なる識別性能の向上が可能となる。
【００９６】
［第３の実施の形態］
図８は、本発明の第３の実施の形態における個体識別システム３の構成を示すブロック図である。図８に示されるように、本発明の第３の実施の形態における個体識別システム３は、生体情報取得部３２００および人物検出部３１０１が第１の実施の形態における個体識別システム１と異なる。すなわち、第１の実施の形態における識別処理装置１１００の個体検出部１１０１は、第３の実施の形態における識別処理装置３１００の人物検出部３１０１へと変更されている。個体識別システム３のその他の構成要素については第１の実施の形態における個体識別システム１と同様である。個体識別システム３の第１の実施の形態における個体識別システム１と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００９７】
第３の実施の形態における個体識別システム３の生体情報取得部３２００は、図９に示される各構成要素を備える。すなわち生体情報取得部３２００は、虹彩パターン取得部３２０１と指紋パターン取得部３２０２と掌紋パターン取得部３２０３と静脈パターン取得部３２０４と歯列パターン取得部３２０５と耳介パターン取得部３２０６と遺伝子配列情報取得部３２０７のうち１以上を備える。生体情報取得部３２００は、特徴量抽出部１１０２および特徴量判別部１１０３に接続されている。
【００９８】
虹彩パターン取得部３２０１は、主に赤外光源と赤外線カメラから構成され、人物の虹彩パターンを取得する。画像情報取得部１００１を構成するビデオカメラによって虹彩パターンが取得可能な場合は、画像情報取得部１００１が虹彩パターンを取得してもよい。
【００９９】
指紋パターン取得部３２０２は、人物の指紋パターンを取得する。指紋パターン取得部３２０２は、接触式センサにより指紋パターンを取得するような構成であってもよいし、カメラ等により非接触で指紋パターンを取得するような構成であってもよい。
【０１００】
掌紋パターン取得部３２０３は、人物の掌紋および掌形パターンを取得する。掌紋パターン取得部３２０３は、指紋パターン取得部３２０２と同様、接触式センサにより掌紋および掌形パターンを取得するような構成であってもよいし、カメラ等により非接触で掌紋および掌形パターンを取得するような構成であってもよい。また、掌紋パターン取得部３２０３は、指紋パターンも同時に取得するような構成であってもよい。
【０１０１】
静脈パターン取得部３２０４は、人物の静脈パターンを取得する。静脈パターン取得部３２０４は、指、掌、手の甲、顔面、首などの部位から静脈パターンを取得するような構成であってもよいし、その他の部位から静脈パターンを取得するような構成であってもよい。また、指紋パターン取得部３２０２あるいは掌紋パターン取得部３２０３が静脈パターンも同時に取得するような構成であってもよい。
【０１０２】
歯列パターン取得部３２０５は、人物の歯の形状および並び方のパターンを取得する。歯列パターン取得部３２０５は、歯列パターンとして、カメラで撮影した画像情報以外に、３次元形状情報を取得するようにしてもよい。
【０１０３】
耳介パターン取得部３２０６は、人物の耳の形状パターンを取得する。耳介パターン取得部３２０６は、歯列パターン取得部３２０５と同様、画像情報以外に３次元形状情報を取得するような構成であってもよい。
【０１０４】
遺伝子配列情報取得部３２０７は、人物の遺伝子配列情報を取得する。遺伝子配列情報取得部３２０７は、人物の皮膚、体毛、体液等から遺伝子配列情報を取得するような構成であってもよい。
【０１０５】
人物検出部３１０１は、センサ部１０００が取得した画像情報から人物を検出する。人物検出部３１０１は、画像情報に対する顔検出や映像情報に対する歩行パターン検出などを利用することで人物を検出する。また、人物検出部３１０１は、画像情報から人物を検出するとともに、人物の顔パターンおよび歩行パターンを取得する機能も有する。
【０１０６】
また、生体情報取得部３２００が取得した各種センサ情報は、センサ部１０００で取得した画像情報および音声情報と同様に、特徴量抽出部１１０２に出力される。そして特徴量抽出部１１０２は、入力される各種センサ情報から特徴量抽出を行う。特徴量判別部１１０３は、センサ情報から抽出される各特徴量と個体との対応付けおよび各特徴量の有効値算出処理を行う。
【０１０７】
図１０は、本発明を実施するための第３の実施の形態における個体識別システム３の動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図４と同一の符号を付し、詳細な説明を省略する。
【０１０８】
第３の実施の形態は、以下の点で第１の実施の形態と異なる。１点目は、識別対象が人間に限定されたことにより、センシング情報としてセンサ部１０００で取得される画像情報と音声情報と生体情報取得部３２００で取得される生体情報とが入力として個体検出部１１０１に与えられる（ステップＳ３１）点である。２点目は、人物検出部３１０１がセンシング情報から人物を検出する処理を行い、同時に検出した人物の顔パターンおよび歩行パターンを取得する（ステップＳ３２）点である。
【０１０９】
第３の実施の形態における個体識別システム３は、識別対象が一般的な物体から人間へ限定されることで、個人識別に有効な人間の生体情報を利用し個体識別を行う。センサ部１０００が画像情報および音声情報を取得するとともに、生体情報取得部３２００が人物の生体情報を取得する。また、人物検出部３１０１が、生体情報として顔パターンや歩行パターンを取得する。人間の生体情報を利用した個人認証技術は関連技術として広く研究されている。よって本実施の形態で説明された個々の生体認証には、その関連技術が利用されればよい。
【０１１０】
第３の実施の形態における個体識別システム３は、画像情報と音声情報、その他生体情報それぞれから抽出される特徴量と人物との対応付けを行いかつ各特徴量の有効値を算出する。そして第３の実施の形態における個体識別システム３は、その対応付けと有効値との両方に基づいて、人物検出部３１０１が検出した人物毎に、その人物の個人識別処理に用いる特徴量をそれぞれ特定する。個体識別システム３は、各人物に対応付けられた特徴量の中から有効値の高い、すなわち、より高品質である特徴量を優先して個人識別処理に用いることができる。
【０１１１】
結果として、第３の実施の形態における個体識別システム３は、複数の識別対象のそれぞれに対して個人識別に用いるための適切な特徴量を特定することができる。これにより個体識別システム３は、環境の変動にロバストでかつ複数人を同時に識別しなければならない場合においても、より高精度な個人識別処理が可能となる。
【０１１２】
［第４の実施の形態］
図１１は、本発明の第４の実施の形態における個体識別システム４の構成を示すブロック図である。
【０１１３】
図１１に示されるように、本発明の第４の実施の形態における個体識別システム４は、センサ部４０００と識別処理装置４１００とデータベース部４１０７を備える。そして、センサ部４０００と識別処理装置４１００と、および識別処理装置４１００とデータベース部４１０７と、はそれぞれ通信可能に接続されている。
【０１１４】
センサ部４０００は、映像情報を取得するビデオカメラと音声情報を取得するマイクロホンであり、それぞれがネットワークインタフェース等の通信手段を備える。センサ部４０００は、映像情報と音声情報を同時に取得可能なビデオカメラで構成される場合もある。
【０１１５】
識別処理装置４１００は、コンピュータであり、少なくともCPU(Central Processing Unit)、メモリおよびネットワークインタフェース等の通信手段を備える。識別処理装置４１００は、フレキシブルディスクやCD-ROM(Compact Disc Read Only Memory)等のコンピュータで読み取り可能な記録媒体を読み取るための読取装置や、磁気記憶装置を備える場合もある。識別処理装置４１００は、ネットワークインタフェースから受信したプログラムコードをメモリ上に展開し、あるいは、CD-ROMまたは磁気記憶装置などに記憶されたプログラムコードを読み出してメモリ上に展開する。そして識別処理装置４１００は、展開されたプログラムコードをCPUが解釈実行することで図１１に示すような人物検出部４１０１、特徴量抽出部４１０２、特徴量判別部４１０３、特徴量特定部４１０４、データベース追加処理部４１０５および照合部４１０６として各種機能を実現するコンピュータとして動作する。第４の実施の形態では、識別処理装置４１００はいわゆるパーソナルコンピュータ（PC: Personal Computer）である。
【０１１６】
データベース部４１０７は、少なくともネットワークインタフェース等の通信手段および磁気記憶装置を備える。磁気記憶装置には、複数人の顔特徴量情報と音声特徴量情報が記憶されている。磁気記憶装置は、顔特徴量情報と音声特徴量情報について、一人物につき少なくともどちらかを１以上記憶している。そして磁気記憶装置は、どちらの特徴量も一人物につき複数記憶しておいてもよい。また、顔特徴量情報と音声特徴量情報は、関係データベース管理システム（RDBMS: Relational Database Management System）によって管理されていてもよい。なお、第４の実施の形態は、特徴量が顔パターンと音声パターンとである実施の形態である。そして第４の実施の形態における個体識別システム４は、他の特徴量を利用した個体識別システムにも当然適用できる。
【０１１７】
第４の実施の形態は、データベース部４１０７に登録されている人物が２人存在（以下人物Ａおよび人物Ｂとする）し、人物Ａのみが発話している状況において個体識別システム４が人物Ａおよび人物Ｂを識別する場合を示す実施の形態の例であるとする。
【０１１８】
図１２は、本発明を実施するための第４の実施の形態における個体識別システム４の動作を示すフローチャートである。
【０１１９】
センサ部４０００は、人物Ａおよび人物Ｂが映った映像情報および発話の音声情報を取得し人物検出部４１０１へ渡す（ステップＳ４１）。
【０１２０】
人物検出部４１０１は、顔検出等の処理により空間内に人物が２人存在することを検出し、検出した顔画像データと音声データとを特徴量抽出部４１０２および特徴量判別部４１０３へ渡す（ステップＳ４２）。
【０１２１】
特徴量抽出部４１０２は、人物検出部４１０１から取得した顔画像データおよび音声データから個人識別のための特徴量を抽出する（ステップＳ４３）。
【０１２２】
特徴量判別部４１０３は、人物検出部４１０１から取得した顔画像データを利用し話者推定等により発話者を特定するとともに発話者の顔画像および音声データと発話者とを対応付ける（ステップＳ４４）。また、特徴量判別部４１０３は、人物検出部４１０１から取得した顔画像および音声信号の状態からその顔画像または音声信号から抽出される特徴量の有効度を算出する（ステップＳ４５）。
【０１２３】
特徴量特定部４１０４は、特徴量判別部４１０３で得られた特徴量と発話者との対応関係および各特徴量の有効度とに基づき、特徴量抽出部４１０２で取得された特徴量から発話者の照合に利用する特徴量を特定し適切な重み付けをする（ステップＳ４６）。
【０１２４】
照合部４１０６は、特徴量特定部４１０４で特定した特徴量とデータベース部４１０７に記憶された特徴量とを照合し、１人の人物の照合スコアを算出する（ステップＳ４７）。
【０１２５】
第４の実施の形態では、２人の人物ともデータベースに登録されている状況が想定されているため、データベース追加処理部４１０５によるデータベース追加処理は、実行されない（ステップＳ４８において「ＮＯ」（登録済み）の場合）。その後、未識別の人物がもう１名存在しているため、もう１名の人物を照合するための処理（ステップＳ４４以降）が繰り返し実行される（ステップＳ５０において「ＹＥＳ」（未識別人物あり）の場合）。２人の人物ともに照合が完了した場合、未識別の人物は存在しないため処理が終了される（ステップＳ５０において「ＮＯ」（未識別人物なし）の場合）。
【０１２６】
上記特許文献１に記載された個人認識システムでは、人物が存在する空間の環境情報を取得する取得手段により取得される画像情報および音声情報が一人物の場合のみに限定されている。よって上記特許文献１に記載された個人認識システムは、第４の実施の形態で想定された状況では正確な識別を行うための適切な特徴量の特定が困難である。それに対し、本発明の第４の実施の形態における個体識別システム４は、人物が２名以上存在するような状況であっても複数の識別対象のそれぞれに対して個人識別に用いるための適切な特徴量を特定することができる。
【０１２７】
[第５の実施の形態］
図１３は、本発明の第５の実施の形態における特徴量特定装置５０の構成を示すブロック図である。
【０１２８】
図１３を参照すると、本実施の形態の特徴量特定装置５０は、レジストレーション部５００１と、有効値算出部５００２と、特徴量特定部５００３とを備える。
【０１２９】
レジストレーション部５００１は、個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される個体を示す情報と、その個体のそれぞれの位置を示す位置情報とを受け取る。またレジストレーション部５００１は、前述の環境情報から抽出される特徴量と、その特徴量のそれぞれの属性を示す属性情報とを受け取る。そしてレジストレーション部５００１は、受け取った位置情報と属性情報とに基づいて、受け取った特徴量のそれぞれが発生した個体を判別する。
【０１３０】
有効値算出部５００２は、レジストレーション部５００１が受け取った特徴量のそれぞれについて、特徴量の品質を示す有効値を求める。
【０１３１】
特徴量特定部５００３は、レジストレーション部５００１による判別結果と、有効値算出部５００２が算出する有効値とに基づいて、以下の処理を行う。すなわち特徴量特定部５００３は、レジストレーション部５００１が受け取った個体を示す情報で特定される個体毎に、その個体の個体識別処理に用いる特徴量をそれぞれ特定する。
【０１３２】
本実施の形態の特徴量特定装置５０は、個体識別処理の対象となる個体の種類を示す属性情報と、環境情報から抽出される特徴量の種類を示す属性情報とに基づいて、個体と特徴量とを対応付ける。したがって本実施の形態の特徴量特定装置５０は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することができる。
【０１３３】
以上、これまで述べてきた各実施の形態は、本発明の好適な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではない。各実施の形態は、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【０１３４】
例えば、個体識別システムとして、上記第１の実施の形態、第２の実施の形態、第３の実施の形態、第４の実施の形態および第５の実施の形態を互いに組み合わせた実施形態が構成されてもよい。
【０１３５】
また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。この場合、コンピュータは、個体識別プログラムが読み込まれ実行される中央処理装置（CPU）、特徴量をデータベースとして記憶する記憶装置（ハードディスク等）、およびカメラやマイクなどの入力手段を備える。
【０１３６】
本発明の第１の実施の形態を例にとれば、CPUに読み込まれた個体識別プログラムは、コンピュータを第１の実施の形態において説明された識別処理装置１１００として機能させる。
【０１３７】
本発明の効果の一例は、複数の識別対象のそれぞれに対して個体識別に用いるための適切な特徴量を特定することが可能となることである。
【０１３８】
この出願は、２０１０年８月９日に出願された日本出願特願２０１０−１７８６４４を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【０１３９】
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１４０】
（付記１）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
を備える特徴量特定装置。
【０１４１】
（付記２）
前記特徴量特定部は、前記個体毎に、前記判別の結果に基づいて一の個体から発生したと判別された特徴量の中で前記有効値が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１に記載の特徴量特定装置。
【０１４２】
（付記３）
前記レジストレーション部は、前記環境情報から抽出される特徴量毎に、その特徴量が各個体から発生した確率を個体毎に算出し、
前記特徴量特定部は、前記有効値と前記確率とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する、請求項１または２に記載の特徴量特定装置。
【０１４３】
（付記４）
前記特徴量特定部は、前記有効値と前記確率との積が所定の閾値以上の特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、請求項３に記載の特徴量特定装置。
【０１４４】
（付記５）
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
各個体の位置情報に基づいて特定される位置と各特徴量の属性情報に基づいて特定される位置との差分に基づいて、前記各特徴量のそれぞれが、前記各個体から発生した特徴量である確率をそれぞれ算出する、請求項３または４に記載の特徴量特定装置。
【０１４５】
（付記６）
前記レジストレーション部は、
前記個体の前記位置情報とともに当該個体が検出された時刻を示す情報を受け取り、当該位置情報と当該時刻を示す情報とを対応付け、前記特徴量の前記属性情報とともに当該特徴量が特定された時刻を示す情報を受け取り、当該属性情報と当該時刻を示す情報とを対応付け、第一の個体の位置情報と各位置情報に対応付けられている時刻を示す情報とに基づいて当該第一の個体の位置の時間変化を示すベクトルを生成し、第一の特徴量の属性情報と各属性情報に対応付けられている時刻を示す情報とに基づいて当該第一の特徴量の位置の時間変化を示すベクトルを生成し、第二の個体に基づいて生成されたベクトルと第二の特徴量に基づいて生成されたベクトルとの差分に基づいて特定されるベクトルの長さが所定の値未満である場合に、当該第二の特徴量は当該第二の個体から発生した特徴量と判別する、請求項１ないし５のいずれか１項に記載の特徴量特定装置。
【０１４６】
（付記７）
前記特徴量特定装置は、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、請求項１ないし６のいずれか１項に記載の特徴量特定装置。
【０１４７】
（付記８）
個体識別処理の対象となる複数の個体が存在する空間の環境に起因する情報である環境情報を取得する環境情報取得部と、
前記環境情報から前記複数の個体を、それぞれの個体の位置を示す位置情報と共に検出する個体検出部と、
前記環境情報から複数の特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出する特徴量抽出部と、
前記個体のそれぞれの前記位置情報および前記特徴量のそれぞれの前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別するレジストレーション部と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める有効値算出部と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定部と、
前記特定された特徴量に基づいて前記抽出された個体毎に個体識別処理を行う照合部と、
を備える個体識別システム。
【０１４８】
（付記９）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別し、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求め、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する特徴量特定方法。
【０１４９】
（付記１０）
個体識別処理の対象となる個体が存在する空間の環境に起因する情報である環境情報から検出される当該個体を示す情報と、前記個体のそれぞれの位置を示す位置情報と、前記環境情報から抽出される特徴量と、前記特徴量のそれぞれの属性を示す属性情報とを、それぞれ受け取り、前記位置情報および前記属性情報に基づいて、前記特徴量毎に、その特徴量が発生した個体を判別する処理と、
前記環境情報から抽出される特徴量毎に、その特徴量の品質を示す有効値を求める処理と、
前記判別の結果と前記有効値とに基づいて、前記検出された個体毎に、その個体の個体識別処理に用いる特徴量を特定する処理と、をコンピュータに実行させるためのプログラム。
【０１５０】
（付記１１）
前記特徴量の属性情報は、当該特徴量が発生した位置を示す位置情報を含み、
前記レジストレーション部は、
一の個体の位置情報に基づいて特定される位置と一の特徴量が発生した位置との差分が所定の閾値以下の場合に、前記一の特徴量が、前記一の個体から発生した特徴量であると特定する、付記１に記載の特徴量特定装置。
【０１５１】
（付記１２）
前記特徴量特定部は、
個体の位置情報と特徴量の属性情報とを対応付けた情報である対応付け情報を記憶し、
一の個体の位置情報を含む前記対応付け情報に対応する特徴量の属性情報を持つ当該特徴量を当該一の個体の個体識別処理に用いる特徴量と特定する、付記１に記載の特徴量特定装置。
【０１５２】
（付記１３）
前記個体の位置情報は、個体の移動方向を示す情報を含み、
前記特徴量の属性情報は、音量が増大しているか減少しているかを示す情報を含み、
前記特徴量特定部は、
第一の個体の属性情報が第一の方向を示す情報を含む場合に、音量が増大している情報を含む属性情報を持つ特徴量を、当該第一の個体の個体識別処理に用いる特徴量と特定し、
第二の個体の属性情報が前記第一の方向の反対方向である第二の方向を示す情報を含む場合に、音量が減少している情報を含む属性情報を持つ特徴量を、当該第二の個体の個体識別処理に用いる特徴量と特定する、付記１に記載の特徴量特定装置。
【０１５３】
（付記１４）
前記環境情報を取得する環境情報取得部と、
前記環境情報から前記個体を、それぞれの個体の種類を示す属性情報と共に検出し、それらを前記レジストレーション部へ出力する個体検出部と、
前記環境情報から前記特徴量を、それぞれの特徴量の種類を示す属性情報と共に抽出し、それらを前記レジストレーション部へ出力する特徴量抽出部と、
を備える、付記１に記載の特徴量特定装置。
【０１５４】
（付記１５）
前記個体識別システムは、個体の識別に利用される照合用の特徴量と当該特徴量の属性情報と当該個体を示す情報とを対応付けて記憶するデータベース部を備え、
前記照合部は、前記特徴量特定部が特定した特徴量に基づいて当該特徴量に対応付けられている個体の識別に利用される照合用の特徴量を前記データベース部から読み出し、前記特徴量特定部が特定した特徴量と、前記データベース部から読み出した特徴量との相関を示す照合スコアを算出し、当該照合スコアが所定の閾値以上の場合に、前記特徴量特定部が特定した特徴量と前記個体を示す情報と当該特徴量の属性情報とを対応付けて前記データベース部に記憶し、
前記特徴量特定部は、一の個体を示す情報に対応付けられている特徴量が前記データベース部に記憶されている場合に、当該特徴量の属性情報に対応する属性情報を持つ特徴量を、当該一の個体の個体識別処理に用いる特徴量と特定する、付記８に記載の個体識別システム。
【符号の説明】
【０１５５】
１    個体識別システム
２    個体識別システム
３    個体識別システム
４    個体識別システム
５０    特徴量特定装置
１０００    センサ部
１００１    画像情報取得部
１００２    音声情報取得部
２０００    画像音声取得部
４０００    センサ部
１１００    識別処理装置
３１００    識別処理装置
４１００    識別処理装置
１１０１    個体検出部
３１０１    人物検出部
４１０１    人物検出部
１１０２    特徴量抽出部
４１０２    特徴量抽出部
１１０３    特徴量判別部
４１０３    特徴量判別部
１１１３    レジストレーション部
５００１    レジストレーション部
１１２３    有効値算出部
５００２    有効値算出部
１１０４    特徴量特定部
４１０４    特徴量特定部
５００３    特徴量特定部
１１０５    データベース追加処理部
４１０５    データベース追加処理部
１１０６    照合部
４１０６    照合部
１１０７    データベース部
４１０７    データベース部
２２００    複合センサ部
２２０１    形状測定部
２２０２    重量測定部
２２０３    熱量測定部
２２０４    速度測定部
２２０５    光学特性測定部
２２０６    臭気測定部
２２０７    材質検査部
３２００    生体情報取得部
３２０１    虹彩パターン取得部
３２０２    指紋パターン取得部
３２０３    掌紋パターン取得部
３２０４    静脈パターン取得部
３２０５    歯列パターン取得部
３２０６    耳介パターン取得部
３２０７    遺伝子配列情報取得部
【国際調査報告】
2012020591.tif 000017
2012020591.tif 000018