(57)【要約】【課題】撮影された画像に含まれる人物に関する多種の情報を効率的に取得する。【解決手段】撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手段と、前記顔領域検出手段により得られる顔領域を用いて人体領域を検出する人体領域検出手段と、前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを統合する人物情報統合手段とを有し、前記人体領域検出手段は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手段を有することにより、上記課題を解決する。【選択図】図１
2010244090.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出装置において、
前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により得られる顔領域を用いて人体領域を検出する人体領域検出手段と、
前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを統合する人物情報統合手段とを有し、
前記人体領域検出手段は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手段を有することを特徴とする人物情報抽出装置。
【請求項２】
前記人体領域検出手段は、
前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手段とを有することを特徴とする請求項１に記載の人物情報抽出装置。
【請求項３】
前記色情報抽出手段は、
前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする請求項２に記載の人物情報抽出装置。
【請求項４】
前記人物情報統合手段において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする請求項１乃至３の何れか１項に記載の人物情報抽出装置。
【請求項５】
撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出方法において、
前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手順と、
前記顔領域検出手順により得られる顔領域を用いて人体領域を検出する人体領域検出手順と、
前記顔領域検出手順により得られる検出結果と、前記人体領域検出手順により得られる検出結果とを統合する人物情報統合手順とを有し、
前記人体領域検出手順は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手順を有することを特徴とする人物情報抽出方法。
【請求項６】
前記人体領域検出手順は、
前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手順とを有することを特徴とする請求項５に記載の人物情報抽出方法。
【請求項７】
前記色情報抽出手順は、
前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする請求項６に記載の人物情報抽出方法。
【請求項８】
前記人物情報統合手順において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする請求項５乃至７の何れか１項に記載の人物情報抽出方法。
【請求項９】
撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出プログラムにおいて、
コンピュータを、
前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手段、
前記顔領域検出手段により得られる顔領域を用いて人体領域を検出する人体領域検出手段、及び、
前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを統合する人物情報統合手段として機能させ、
前記人体領域検出手段は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手段を有することを特徴とする人物情報抽出プログラム。
【請求項１０】
前記人体領域検出手段は、
前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手段とを有することを特徴とする請求項９に記載の人物情報抽出プログラム。
【請求項１１】
前記色情報抽出手段は、
前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする請求項１０に記載の人物情報抽出プログラム。
【請求項１２】
前記人物情報統合手段において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする請求項９乃至１１の何れか１項に記載の人物情報抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物情報抽出装置、人物情報抽出方法、及び人物情報抽出プログラムに係り、特に撮影された画像に含まれる人物に関する多種の情報を効率的に取得するための人物情報抽出装置、人物情報抽出方法、及び人物情報抽出プログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像手段により撮影された映像に対して画像処理等を行い、その映像を構成する画像中に含まれる人物を自動的に検出する手法が存在している。その中でも画像中から人物の顔を検出する技術が急速に発達しており、例えば顔の判別精度を向上させるために、入力画像から肌色領域を抽出し、その肌色領域に基づいて、頭頂部、目、口等の顔の特徴点の位置を検出して、その検出結果から肌色領域が顔か否かを判定する画像処理装置が存在している（例えば、特許文献１参照。）。
【０００３】
また、このような顔検出技術は、例えば銀行や百貨店、コンビニエンスストア等の警備対象施設内に設置された監視カメラにより得られる映像に対して処理がなされ、犯罪時の迅速な人物特定や、不審者か否かを検出して犯罪を未然に防止するために用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−５３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来の手法により検出された人物は、画像検索処理において効率的に高精度な検索が行えるように、カメラから読み取れる多種の情報を蓄積しておくことが好ましい。しかしながら、人物の顔情報のみからでは、抽出できる情報に限りがあり、例えばその人物が不審者等の特定の人物であるか否かを判定する場合や、映像中から不審者等の特定人物を検出する場合等には、より詳細な人物情報が必要となる。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであって、撮影された画像に含まれる人物に関する多種の情報を効率的に取得するための人物情報抽出装置、人物情報抽出方法、及び人物情報抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００８】
本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手段と、前記顔領域検出手段により得られる顔領域を用いて人体領域を検出する人体領域検出手段と、前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを統合する人物情報統合手段とを有し、前記人体領域検出手段は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手段を有することを特徴とする。これにより、撮影された画像に含まれる人物に関する多種の情報を効率的に取得することができる。
【０００９】
また本発明では、前記人体領域検出手段は、前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手段とを有することを特徴とする。
【００１０】
また本発明では、前記色情報抽出手段は、前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする。
【００１１】
また本発明では、前記人物情報統合手段において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする。
【００１２】
更に本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出方法において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手順と、前記顔領域検出手順により得られる顔領域を用いて人体領域を検出する人体領域検出手順と、前記顔領域検出手順により得られる検出結果と、前記人体領域検出手順により得られる検出結果とを統合する人物情報統合手順とを有し、前記人体領域検出手順は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手順を有することを特徴とする。これにより、撮影された画像に含まれる人物に関する多種の情報を効率的に取得することができる。
【００１３】
また本発明では、前記人体領域検出手順は、前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手順とを有することを特徴とする。
【００１４】
また本発明では、前記色情報抽出手順は、前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする。
【００１５】
また本発明では、前記人物情報統合手順において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする。
【００１６】
更に本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出する人物情報抽出プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する顔領域を検出する顔領域検出手段、前記顔領域検出手段により得られる顔領域を用いて人体領域を検出する人体領域検出手段、及び、前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを統合する人物情報統合手段として機能させ、前記人体領域検出手段は、前記撮像手段の設置位置、画角、及び前記顔領域を基準とした前記撮像手段と前記人物との水平距離とに基づいて前記人物の身長を推定する身長推定手段を有することを特徴とする。これにより、撮影された画像に含まれる人物に関する多種の情報を効率的に取得することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物情報抽出処理を容易に実現することができる。
【００１７】
また本発明では、前記人体領域検出手段は、前記顔領域のサイズを基準として、前記人体領域に含まれる前記人物に関する色情報を抽出する色情報抽出手段とを有することを特徴とする。
【００１８】
また本発明では、前記色情報抽出手段は、前記顔領域のサイズを基準として、頭部領域、肌領域、上半身領域、及び下半身領域のうち少なくとも１つの色情報又は画像データを抽出することを特徴とする。
【００１９】
また本発明では、前記人物情報統合手段において、統合された人物毎の人物情報を映像中の画像フレーム毎に生成するフレーム情報生成手段を有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、撮影された画像に含まれる人物に関する多種の情報を効率的に取得することができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態における人物情報抽出装置の概略構成の一例を示す図である。
【図２】本実施形態における身長推定例を説明するための図である。
【図３】撮影された画像内に複数の人物がいた場合の身長推定について説明するための図である。
【図４】本実施形態において取得される色情報の具体例を示す図である。
【図５】撮影された画像内に複数の人物がいた場合の取得される色情報の設定例を示す図である。
【図６】本実施形態におけるフレーム情報の一例を示す図である。
【図７】本実施形態における人物情報抽出処理が実現可能なハードウェア構成の一例を示す図である。
【図８】本実施形態における人物情報抽出処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
＜本発明について＞
本発明は、単一のカメラ等の撮像手段により撮影された映像に含まれる時系列の各画像に対して、その画像毎に含まれる人物に関する情報を取得する。その際、最初に画像に含まれる人物の顔領域を検出する。次に、検出された顔領域に基づいて身長や頭髪、服の色情報等の多種の人物情報からなる人体領域を検出する。また、本発明では、上述した顔領域検出及び人体領域検出により得られる画像を統合する。
これにより、多種の人物情報を高精度に抽出すると共に高速化を実現することができる。
【００２３】
以下に、本発明における人物情報抽出装置、人物情報抽出方法、及び人物情報抽出プログラムを好適に実施した形態について、図面を用いて説明する。
【００２４】
＜人物情報抽出装置の概略構成例＞
図１は、本実施形態における人物情報抽出装置の概略構成の一例を示す図である。図１に示す人物情報抽出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、顔領域検出手段１４と、人体領域検出手段１５と、人物情報統合手段１６と、フレーム情報生成手段１７と、送受信手段１８と、制御手段１９とを有するよう構成されている。なお、送受信手段１８には、人物情報を抽出するための人物を撮影するカメラ等の撮像手段２０が接続されており、撮像手段２０により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２０は、人物情報抽出装置１０と一体に構成されていてもよい。
【００２５】
入力手段１１は、ユーザ等からの顔領域検出指示や、人体領域検出指示、人物情報統合指示、フレーム情報生成指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００２６】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや顔領域検出手段１４、人体領域検出手段１５、人物情報統合手段１６、フレーム情報生成手段１７、送受信手段１８等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００２７】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、顔の認証や、性別・年代等を推定するのに使用される各種特徴量データや、顔領域検出手段１４における顔領域検出結果、人体領域検出手段１５における人体領域検出結果、人物情報統合手段１６における人物情報統合結果、フレーム情報生成手段１７におけるフレーム情報結果、送受信手段１８、制御手段１９により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。
【００２８】
顔領域検出手段１４は、画像中に人物が含まれていると判断した場合、その人物の顔領域を検出する。顔領域検出手段１４は、カメラ等の撮像手段２０等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。
【００２９】
具体的には、顔領域検出手段１４は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。また、顔領域検出手段１４は、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。なお、顔領域検出手段１４は、顔検出後、画像中の顔の縦幅、横幅からなる矩形の顔領域等を検出する。
【００３０】
また、顔領域検出手段１４は、顔領域の中心座標（位置情報）、及び領域の画像上の大きさ（サイズ）を検出し、その顔領域を所定形状により元の画像に合成して顔領域が明確に分かるように画面表示できるような各種情報を蓄積する。なお、顔領域の形状は、本発明においては、矩形や円形、楕円形、他の多角形、人物の顔の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。
【００３１】
また、顔領域検出手段１４は、トラッキング手段２１と、顔認証手段２２と、性別・年代推定手段２３と、顔隠し判定手段２４とを有している。トラッキング手段２１は、検出された顔領域を用いて人物追跡を行い、その際、画像フレーム中に含まれる複数の顔領域をそれぞれ識別して蓄積するために識別情報（トラッキングＩＤ）を割り当てる。また、また、トラッキング手段２１は、割り当てたトラッキングＩＤについて、トラッキングの状態により、「未使用」、「フレームイン」、「フレームアウト」、「追跡中」の４種の状態を出力する。
【００３２】
顔認証手段２２は、検出された顔領域から目や鼻、口等の各配置情報からなる顔の特徴量を取得し、取得した特徴量と、予め蓄積手段１３等にデータベース（ＤＢ）等として蓄積された既に登録されている人物（登録人物）や芸能人等の人物の顔の特徴量とを用いて顔認証処理を行い、認証された人物の識別情報（ＩＤ）を出力する。また、顔認証手段２２は、蓄積手段１３に蓄積された顔画像のＩＤを、人物（登録人物・芸能人）の名前に変換して出力してもよい。
【００３３】
性別・年代推定手段２３は、検出された顔領域から、顔の特徴量を取得し、取得した顔の特徴量と、蓄積手段１３により性別、年代を推定し、結果を出力する。
【００３４】
顔隠し判定手段２４は、検出された顔領域に対し、マスクやサングラス等の顔を隠すための処理が行われているか否かを検出する。具体的には、顔隠し判定手段２４は、顔領域から推測される目領域、口領域の色情報を取得し、目領域の色情報がサングラスを着用していると想定される色（例えば黒系）であるときには、サングラスにより顔が隠されていると判定し、口領域がマスクをそれぞれについて着用していると想定される色（例えば白系）であるときには、マスクにより顔が隠されていると判定し、その判定結果を出力する。
【００３５】
人体領域検出手段１５は、顔領域検出手段１４により顔領域が検出された場合に、その顔領域情報に基づいて、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）から１又は複数の人体領域を検出する。
【００３６】
具体的には、人体領域検出手段１５は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。なお、人体検出手法については、本発明においてはこれに限定されない。
【００３７】
また、人体領域検出手段１５は、人体領域の中心座標、及び領域の画像上の大きさを検出し、その顔領域を所定形状により元の画像に合成して人体領域が明確に分かるように画面表示できるような各種情報を蓄積する。なお、人体領域の形状は、上述した顔領域と同様に、矩形や円形、楕円形、他の多角形、人物の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。
【００３８】
また、人体領域検出手段１５は、身長推定手段２５と、色情報抽出手段２６と、人物位置推定手段２７とを有している。
【００３９】
身長推定手段２５は、検出された人体領域、顔領域それぞれに対して、人物の身長を算出する。本実施形態における具体的な身長推定手法については、後述する。
【００４０】
色情報抽出手段２６は、検出された人体領域及び顔領域のそれぞれの領域情報の位置関係を用いて、人物の頭部領域や肌領域、上半身領域、下半身領域を推定し、各領域の色情報を抽出する。具体的には、頭髪、上衣、下衣等の色情報を抽出し、抽出した色情報の代表色（平均色等）を頭髪、上衣、下衣等の色情報として決定する。
【００４１】
なお、上述した各領域の色情報の算出では、各領域の総画素数・色の出現頻度をカウントし、例えば上位１０色についてのＲＧＢ値を出力する。ここで、上述した各領域は、具体的には、顔領域の上部から頭部領域、顔領域の左右から頬（肌）領域、人体領域の中心よりも上部で顔領域よりも下部から上半身領域、人体領域の中心より下部或いは地面から上部で下半身領域を抽出する。なお、抽出される領域の設定内容は、本発明においてはこれに限定されない。更に、色情報抽出手段２６は、顔領域、人体領域、頭部領域、肌領域、上半身領域、下半身領域の少なくとも１つの領域の画像データをそのまま切り取って出力することもできる。本実施形態において取得される色情報の具体例については、後述する。
【００４２】
人物位置推定手段２７は、検出された人体領域、顔領域それぞれに対して、人物の実空間上での位置座標を算出する。この場合、人物位置推定手段２７は、カメラから撮影された画像から得られる２次元座標に対して予め設定される変換式により３次元の実空間上での位置座標（Ｘ，Ｙ，Ｚ）を取得する。
【００４３】
人物情報統合手段１６は、顔領域と人体領域とを同一人物として対応付けて、その人物の特徴を統合する。具体的には、人物情報統合手段１６は、画像中における顔領域の重心座標を取得し、取得した座標を包含する人体領域があった場合、その顔領域及び人体領域は、同一人物によるものであるとして対応付けを行う。
【００４４】
更に、人物情報統合手段１６は、１つの人体領域が２つ以上の顔領域を包含する場合、全ての顔領域に同じ人体領域を対応付けておく。これにより、追跡処理等において映像の途中で複数の人物が画面上で一時的に重なった場合にも、途切れることなく継続して追跡することができる。なお、人物の管理はＩＤ等の識別情報を用いて行う。なお、上述した人体領域と顔領域とを同一人物のものとして対応付ける処理については、本発明においてはこれに限定されるものではなく、例えば人物の姿勢や向き等を抽出し、抽出した情報を用いて対応付けを行ってもよい。
【００４５】
フレーム情報生成手段１７は、上述した人物情報統合手段１６により統合された人物毎の人物情報を、映像に含まれる画像の１フレーム毎に格納したフレーム情報を生成する。これにより、フレーム単位で人物の管理を行うことができ、フレーム毎にその撮影された時間情報が付与されているので、検索の際に、どの時間にどのような人物が何人いるか等、多種の検索キーワードを用いて様々な検索を高精度に実現することができる。なお、本実施形態における具体的なフレーム情報の構成等については、後述する。
【００４６】
送受信手段１８は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して単一の撮像手段２０からの監視映像を受信する。なお、送受信手段１８は、撮像手段２０から直接監視映像を受信しなくてもよく、例えば予め撮像手段２０で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人物情報抽出を行ってもよい。
【００４７】
また、送受信手段１８は、人物情報抽出装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００４８】
制御手段１９は、人物情報抽出装置１０における各機能構成全体の制御を行う。具体的には、制御手段１９は、入力手段１１により入力されたユーザからの入力情報に基づいて顔領域検出を行ったり、人体領域検出を行ったり、人物情報を統合したり、フレーム情報を生成したり、送受信制御を行う等の各種制御を行う。
【００４９】
＜本実施形態における身長推定例＞
ここで、本実施形態における身長推定例について、具体的に説明する。図２は、本実施形態における身長推定例を説明するための図である。図２に示すように撮像手段２０であるカメラが所定の箇所に設置され、カメラの画角θ内に存在する人物３０に対して、身長を推定する。なお、図２の例では、画角θの中に人物の顔及び人体の全部があるため、顔領域形状３１及び人体領域形状３２が示されている。
【００５０】
具体的には、本実施形態では、例えば以下に示す（１）式により身長Ｈを推定する。
【００５１】
【数１】
2010244090.tif 000003
ここで、上述した（１）式において、ＣａｍＺはカメラを設置した地上からの高さを示し、Ｄは現在のカメラと人物３０との水平距離を示しており、αはＣａｍＺの高さを基準とした水平線に対する顔領域の中心までの角度を示している。また、上述のＤは、以下に示す（２）式で算出される。
【００５２】
【数２】
2010244090.tif 000004
ここで、上述した（２）式において、Ｓは検出された顔領域３１のサイズ（１辺の長さ（ｐｉｘｅｌｓ））を示し、θＨは、現在のカメラの水平画角を示し、θＶは現在のカメラの垂直画角を示し、Ｄｂは基準値測定時のカメラと人物の水平距離を示し、Ｓｂは基準値測定時に検出された顔領域のサイズ（１辺の長さ（ｐｉｘｅｌｓ））を示し、θＨｂは基準値測定時のカメラの水平画角を示し、θＶｂは基準値測定時のカメラの垂直画角を示している。
【００５３】
つまり、本実施形態では、画像中の顔の大きさから遠近法を用いてカメラまでの距離Ｄを推定し、カメラと人までの距離Ｄに基づいて、上述したように身長を推定する。なお、本実施形態では、身長を推定するために、予め基準値を測定する必要がある。その基準値とは、カメラと人物までの距離が既知の状態でのカメラ画角、及び、カメラと人物間の水平距離である。
【００５４】
また、図３は、撮影された画像内に複数の人物がいた場合の身長推定について説明するための図である。図３には、複数の例として２人の人物３０−１，３０−２が撮影されており、撮影された画像からそれぞれ顔領域３１−１，３１−２を抽出することができるが、撮像手段２０としてのカメラの画角θ内に全身は含まれていないため、人体領域形状は、抽出されない。しかしながら、そのような場合でも身長を推定することができる。
【００５５】
具体的には、撮影されている人物３０−１，３０−２に対して、画像中の顔領域の大きさから得られるカメラと人物の水平距離Ｄ１，Ｄ２、カメラの高さ（ＣａｍＺ）を基準とした水平線に対するそれぞれの顔領域３１−１，３１−２の中心までの角度α１，α２として身長を推定することができる。
【００５６】
なお、上述した身長推定手法以外にも様々な推定手法を用いることができ、例えば画像中に含まれる１又は複数の人物を検出し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人体領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定することもできる。消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。
【００５７】
＜本実施形態において取得される色情報の具体例＞
次に、本実施形態において取得される色情報の具体例について説明する。図４は、本実施形態において取得される色情報の具体例を示す図である。例えば撮影された画像から図４に示す人物画像が取得できた場合、人物の頭部３０ｈから髪の毛の色を取得するための頭部領域４１を取得する。この頭部領域４１は、図４に示すように顔領域３１の位置を基準とした上部にあり、縦方向（１辺）の長さｄに対して更にｄ／２の範囲内で少なくとも１つ設定される（図４の例では１つ）。また、上半身領域４２は、図４に示すように顔領域３１の位置を基準とした下部にあり、長さｄに対して更にｄの範囲内で人物の上半身３０ｂのうち少なくとも１つ設定される（図４の例では１つ）。
【００５８】
つまり、顔領域検出手段１４により検出された顔領域のサイズを基準に図４に示す領域を決定することができる。なお、各領域の設定内容は、本発明においては上記内容に限定されず、例えば上述した人体領域を基準に、地面からの高さによって設定することもできる。なお、その場合には、実空間上の領域情報になるため、画像面上の位置座標への変換が必要になる。
【００５９】
また、図５は、撮影された画像内に複数の人物がいた場合の取得される色情報の設定例を示す図である。図５の画面５０には、複数の例として２人の人物３０−１，３０−２が撮影されており、撮影された画像からそれぞれ顔領域３１−１，３１−２が抽出されている。この場合には、それぞれの顔領域３１−１，３１−２の位置を基準として、それぞれの頭部領域４１−１，４１−２が設定され、更にそれぞれの上半身領域４２が設定されて、各領域の色情報を取得する。なお、図５の例では、人物３０−１の場合には、上半身領域４２−１ａ，４２−１ｂ，４２−１ｃが設定され、人物３０−２の場合には、上半身領域４２−２ａ，４２−２ｂが設定されている。なお、本実施形態において設定される領域や数は、図５に限定されず、例えば肌の色や下半身領域も設定することができる。更には、各領域の色情報だけでなく、その領域の画像そのものを切り取って蓄積していてもよい。
【００６０】
なお、色情報は、上述したようにそれぞれの領域について、例えば平均色のＲＧＢ値により取得することができるが、ＲＧＢ値ではなく視覚特性を考慮した色空間であるＨＳＶ値に変換して出力してもよい。
【００６１】
＜本実施形態における具体的なフレーム情報の構成例＞
次に、上述したフレーム情報生成手段１７におけるフレーム情報の構成例について説明する。図６は、本実施形態におけるフレーム情報の一例を示す図である。フレーム情報生成手段１７は、１フレーム毎に処理を行い検出された人物について、図６に示す情報が抽出される。ここで、図６に示すフレーム情報としては、例えば共通の項目として「ファイル名」、「検出日時」があり、顔領域から抽出される情報として「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」、「各種色情報」、「登録者情報」、「似ている芸能人情報」、「年代情報」、「性別情報」、「顔の向き（ＰＡＮ，ＴＩＬＴ）」、「マスク」、「サングラス」、「取得顔画像情報」、があり「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」、「各種色情報」等がある。
【００６２】
「ファイル名」には、現在処理をしている映像ファイルのファイル名が格納される。また、「検出日時」には、人物が検出された日時が格納される。なお、「検出日時」としては、映像ファイル名が実際の録画開始時刻と対応しているため、撮影開始時刻と映像内での時刻を加算し、実際の時刻が格納される。
【００６３】
また、顔領域から抽出される「人物位置座標（Ｘ，Ｙ，Ｚ）」には、カメラ位置のＸＹ座標と地面を原点とした実空間上での人物足元のＸＹＺ座標が格納される。つまり、「人物位置座標（Ｘ，Ｙ，Ｚ）」には、顔領域から算出した人物の実空間上での位置座標が格納される。また、「身長情報」には、顔領域から算出した身長が格納される。また、「各種色情報」には、顔領域から算出した頭部・上半身の総画素数・色上位１０色・頻度が格納される。
【００６４】
なお、頭部の色情報としては、顔領域から算出した頭部についての頻度１位から１０位までのＲＧＢの数値と頻度が格納される。また、頭部の総画素数としては、顔領域から算出した頭部領域の総画素数が格納される。また、上半身の色情報としては、顔領域から算出した上半身についての頻度１位から１０位までのＲＧＢの数値と頻度が格納される。更に、上半身の総画素数としては、顔領域から算出した上半身領域の総画素数が格納される。
【００６５】
また、「登録者情報」には、登録人物ＤＢと照合した結果、最も近い人物名と認証スコアが設定される。具体的には、登録人物ＤＢとの照合により、登録者として（認証閾値を上回った）認証された場合、該当登録者の名前が上位１０名分格納される。認証されなかった場合は、「未登録者」が格納される。また、認証結果スコアは、上位１０名分の認証スコアが０から１０００までの整数値で示され、照合の結果、「未登録者」であった場合は−１が格納される。
【００６６】
また、「似ている芸能人情報」には、芸能人を登録したＤＢと照合した結果、最も近い人物名と認証スコアが格納される。具体的には、芸能人ＤＢとの照合により、認証スコアが最も高く、かつ、閾値よりも上の場合に、該当芸能人の名前が格納される。認証がされなかった場合、「似ていない」を格納する。また、認証結果スコアは、上述の同様である。
【００６７】
また、「年代情報」には、検出人物の年代・信頼度が格納される。また、「性別情報」には、男女何れかの性別と信頼度が格納される。また、「顔の向き」には、パン、チルト等のカメラワークに対するカメラを原点とした、顔向き角度が格納される。具体的には、カメラを原点とし、カメラから見た顔の角度が格納され、カメラから見て上方向と左方向が＋となる。
また、「マスク」には、マスク等で口の周辺が隠れているかどうかが格納され、具体的には「あり」、「なし」、「不明」の何れかが格納される。また、「サングラス」には、サングラス等で目の周辺が隠れているかどうかが格納され、具体的には「あり」、「なし」、「不明」の何れかが格納される。
【００６８】
また、「取得顔画像情報」には、検出された顔画像へのファイルパスと信頼度が格納され、具体的には、このフレームで検出された顔画像が蓄積されている場所へのファイルパスと、検出された顔領域の一辺の長さ、認証スコアが閾値以上で最も高い認証結果名、その信頼度等が格納される。
【００６９】
また、人体領域から抽出される「人物位置座標（Ｘ，Ｙ，Ｚ）」には、カメラ位置のＸＹ座標と地面を原点とした実空間上での人物足元のＸＹＺ座標が格納され、人体領域から算出された、人物の実空間上での位置座標が格納される。
【００７０】
また、「身長情報」には、人体領域・顔領域から算出した身長が格納される。また、「各種色情報」には、人体領域から算出した頭部・上半身・下半身の総画素数・色上位１０色・頻度が格納され、具体的には頭部についての頻度１位から１０位までのＲＧＢの数値と頻度、頭部領域の総画素数、上半身についての頻度１位から１０位までのＲＧＢの数値と頻度、上半身領域の総画素数、下半身についての頻度１位から１０位までのＲＧＢの数値と頻度、及び下半身領域の総画素数のうち少なくとも１つが格納される。
【００７１】
本実施形態では、上述したような情報を各種処理の結果として、フレーム単位で出力される。なお、人物領域、顔領域共に検出されない場合は何も出力されない。また、人物領域、顔領域の検出状態によっては、出力されない情報もある。その場合には、「不明」を示す値が出力される。
【００７２】
また、本実施形態では、上述した情報がフレーム毎に生成され、フレーム情報を出力された各データにはタグを付与する。これにより、各データが何の情報に対応するかを明確にすることができる。また、１フレーム内に複数の人物が検出された場合には、人物毎に別々のトラッキングＩＤ（識別情報）が割り振られ、トラッキングＩＤ毎に同日付、同時刻を付与し、複数行のフレーム情報が出力される。
【００７３】
＜ハードウェア構成例＞
ここで、上述した人物情報抽出装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物情報抽出プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物情報抽出処理を実現することができる。
【００７４】
本実施形態における人物情報抽出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本実施形態における人物情報抽出処理が実現可能なハードウェア構成の一例を示す図である。
【００７５】
図７におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７６】
入力装置６１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。
【００７７】
出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７８】
なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００７９】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【００８０】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００８１】
メモリ装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。なお、メモリ装置６５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等からなる。
【００８２】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
【００８３】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物情報抽出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物情報抽出処理を容易に実現することができる。次に、人物情報抽出処理の具体的な内容について説明する。
【００８４】
＜人物情報抽出処理＞
次に、本発明における実行プログラム（人物情報抽出プログラム）で実行される人物情報抽出処理手順についてフローチャートを用いて説明する。図８は、本実施形態における人物情報抽出処理手順の一例を示すフローチャートである。
【００８５】
図８において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物が検出されたか否かを判断し（Ｓ０２）、人物が検出された場合（Ｓ０２において、ＹＥＳ）、上述した顔領域検出処理（Ｓ０３）及び人体領域検出処理（Ｓ０４）を行う。なお、Ｓ０２の処理は、例えば時系列画像フレーム間の比較において、色情報が変化している領域が所定の大きさ以上あるか否か等により判断することができ、また、Ｓ０３の処理と併せて、顔領域の検出ができたか否かによって判断することができる。
【００８６】
また、Ｓ０３及びＳ０４の処理が終了後、人物情報統合処理を行い（Ｓ０５）、その統合情報からフレーム情報を生成し（Ｓ０６）、生成した情報を蓄積する（Ｓ０７）。また、Ｓ０７の処理が終了後、又はＳ０２の処理において、人物が検出されなかった場合（Ｓ０２において、ＮＯ）、次に、映像が終了か否かを判断し（Ｓ０８）、映像が終了でない場合（Ｓ０８において、ＮＯ）、Ｓ０２の処理を戻り映像を継続して再生して後続の処理を行う。
【００８７】
上述したように、本発明によれば、撮影された画像に含まれる人物に関する多種の情報を効率的に取得することができる。
【００８８】
具体的には、例えば、監視カメラ等の映像に映る人物の特徴を抽出することができるようになり、犯罪発生時の犯人の身長や着ている服の色等を推定し、ユーザや警察への迅速な情報提供を行うことができる。また、蓄積された映像中の人物を検索する際、身長や色情報をキーとした検索が可能となる。また、推定された情報と、その他の情報（年齢、性別等）を組み合わせることで、特定の人物を検出することが可能となる。更に、頭髪の色や服の色などの統計情報を取ることで、マーケティングなどへの応用が可能となる。
【００８９】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００９０】
１０  人物情報抽出装置
１１  入力手段
１２  出力手段
１３  蓄積手段
１４  顔領域検出手段
１５  人体領域検出手段
１６  人物情報統合手段
１７  フレーム情報生成手段
１８  送受信手段
１９  制御手段
１９人物情報抽出装置
２０  撮像手段
２１  トラッキング手段
２２  顔認証手段
２３  性別・年代推定手段
２４  顔隠し判定手段
２５  身長推定手段
２６  色情報抽出手段
２７  人物位置推定手段
３０  人物
３１  顔領域
３２  人体領域
４１  頭部領域
４２  上半身領域
５０  画面
６１  入力装置
６２  出力装置
６３  ドライブ装置
６４  補助記憶装置
６５  メモリ装置
６６  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
６７  ネットワーク接続装置
６８  記録媒体
【図１】
2010244090.tif 000005
【図２】
2010244090.tif 000006
【図３】
2010244090.tif 000007
【図４】
2010244090.tif 000008
【図５】
2010244090.tif 000009
【図６】
2010244090.tif 000010
【図７】
2010244090.tif 000011
【図８】
2010244090.tif 000012