(57)【要約】【課題】  これまで判定できなかった複数の人物が近い距離にいる場合、又は、複数の人物の位置が入れ替わった場合にも同一人物か否かの判定が可能な人物判定装置を提供する。【解決手段】  判定対象人物画像を取得する画像取得手段１０１と、前記判定対象人物画像から、頭部領域及び顔領域の少なくとも一方を検出する頭部・顔検出手段１０２と、前記判定対象人物画像から、人物属性を検出する人物属性分析手段１０３と、前記頭部領域、前記顔領域及び前記人物属性の情報を格納する人物情報格納手段１０４と、人物情報格納手段１０４から取得した人物情報を用いて、前記判定対象人物画像に写った人物が、画像取得手段１０１が先に取得した画像に写った人物と同一人物か否かを判定する人物判定手段１０６とを含むことを特徴とする人物判定装置１００。【選択図】  図１
2015001871.tif 000002
【特許請求の範囲】
【請求項１】
判定対象人物画像を取得する画像取得手段と、
前記判定対象人物画像から、頭部領域及び顔領域の少なくとも一方を検出する頭部・顔検出手段と、
前記判定対象人物画像から、人物属性を検出する人物属性分析手段と、
前記頭部領域、前記顔領域及び前記人物属性の情報を格納する人物情報格納手段と、
前記人物情報格納手段から取得した人物情報を用いて、前記判定対象人物画像に写った人物が、前記画像取得手段が先に取得した画像に写った人物と同一人物か否かを判定する人物判定手段とを含む
ことを特徴とする人物判定装置。
【請求項２】
さらに、人物情報取得手段を含み、
前記人物情報取得手段は、前記判定対象人物画像を、前記画像取得手段から前記頭部・顔検出手段及び前記人物属性分析手段に送る
ことを特徴とする、請求項１記載の人物判定装置。
【請求項３】
さらに、識別番号付与手段を含み、
前記識別番号付与手段は、
前記人物判定手段が同一人物と判定したときは、前記判定対象人物画像に写った人物に、前記先に取得した画像に写った人物と同じ識別番号を付与し、
前記人物判定手段が異なる人物と判定したときは、前記判定対象人物画像に写った人物に、新たな識別番号を付与し、
前記人物情報格納手段は、前記識別番号を記録する
ことを特徴とする、請求項１又は２記載の人物判定装置。
【請求項４】
前記頭部・顔検出手段と、前記人物属性分析手段とが、同一のサーバ内にある
ことを特徴とする、請求項１から３のいずれか一項に記載の人物判定装置。
【請求項５】
前記人物情報取得手段と、前記人物判定手段とが、同一のサーバ内にある
ことを特徴とする、請求項２から４のいずれか一項に記載の人物判定装置。
【請求項６】
判定対象人物画像を取得する画像取得工程と、
前記判定人物対象画像から、頭部領域及び顔領域の少なくとも一方を検出する頭部・顔検出工程と、
前記判定対象人物画像から、人物属性を検出する人物属性分析工程と、
前記頭部領域、前記顔領域及び前記人物属性の情報を格納する人物情報格納工程と、
前記人物情報格納工程で格納された人物情報を用いて、前記判定対象人物画像に写った人物が、前記画像取得工程で先に取得した画像に写った人物と同一人物か否かを判定する人物判定工程とを含む
ことを特徴とする人物判定方法。
【請求項７】
さらに、人物情報取得工程を含み、
前記人物情報取得工程において、
前記判定対象人物画像を、前記頭部・顔検出工程及び前記人物属性分析工程へと送る
ことを特徴とする、請求項６記載の人物判定方法。
【請求項８】
さらに、識別番号付与工程を含み、
前記識別番号付与工程において、
前記人物判定工程で同一人物と判定されたときは、前記判定対象人物画像に写った人物に、前記先に取得した画像に写った人物と同じ識別番号を付与し、
前記人物判定工程で異なる人物と判定されたときは、前記判定対象人物画像に写った人物に、新たな識別番号を付与し、
前記人物情報格納工程において、前記識別番号を記録する
ことを特徴とする、請求項６又は７記載の人物判定方法。
【請求項９】
請求項６から８のいずれか一項に記載の人物判定方法を、コンピュータに実行させることを特徴とするプログラム。
【請求項１０】
請求項９記載のプログラムを記録していることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物判定装置、人物判定方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
画像から特定の人物を抽出し、追跡する人物判定技術が一般に普及している。例えば、特許文献１では、店舗内部等に設けた監視カメラで撮影された画像から計測した頭部の位置及び大きさの変化量から、時系列で並んだ複数の画像に写った人物が同一人物であるか否かを判断する監視システムが提案されている。また、特許文献２に記載されているように、カメラ等で撮影した画像から人物の属性を判定する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９３９９６８号公報
【特許文献２】国際公開第２０１２／０５３３１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の監視システムでは、複数の人物が近い距離で存在しているとき、近い時間で撮影された２つの画像に写っている各々の人物が同一人物か否かを判定する場合、前後の画像における各人物の頭部の位置及び大きさのみでは、複数の人物が近い位置にいる場合又は位置が入れ替わった場合等に、同一人物を異なる人物と、又は、異なる人物を同一人物と誤認識する可能性がある。また、特許文献２に記載の方法は、人物の属性を判定する方法であるので、異なる２つの画像に写っている人物が同一人物か否かの判定はできない。
【０００５】
そこで、本発明は、これまで判定できなかった複数の人物が近い距離にいる場合、又は、複数の人物の位置が入れ替わった場合にも同一人物か否かの判定が可能な人物判定装置、人物判定方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明の人物判定装置は、
判定対象人物画像を取得する画像取得手段と、
前記判定対象人物画像から、頭部領域及び顔領域の少なくとも一方を検出する頭部・顔検出手段と、
前記判定対象人物画像から、人物属性を検出する人物属性分析手段と、
前記頭部領域、前記顔領域及び前記人物属性の情報を格納する人物情報格納手段と、
前記人物情報格納手段から取得した人物情報を用いて、前記判定対象人物画像に写った人物が、前記画像取得手段が先に取得した画像に写った人物と同一人物か否かを判定する人物判定手段とを含む
ことを特徴とする。
【０００７】
また、本発明の人物判定方法は、
判定対象人物画像を取得する画像取得工程と、
前記判定対象人物画像から、頭部領域及び顔領域の少なくとも一方を検出する頭部・顔検出工程と、
前記判定対象人物画像から、人物属性を検出する人物属性分析工程と、
前記頭部領域、前記顔領域及び前記人物属性の情報を格納する人物情報格納工程と、
前記人物情報格納工程で格納された人物情報を用いて、前記判定対象人物画像に写った人物が、前記画像取得工程で先に取得した画像に写った人物と同一人物か否かを判定する人物判定工程とを含む
ことを特徴とする。
【０００８】
また、本発明のプログラムは、
本発明の人物判定方法を、コンピュータに実行させることを特徴とする。
【０００９】
また、本発明の記録媒体は、
本発明のプログラムを記録していることを特徴とする。
【発明の効果】
【００１０】
本発明は、これまで判定できなかった複数の人物が近い距離にいる場合、又は、複数の人物の位置が入れ替わった場合にも同一人物か否かの判定が可能な人物判定装置、人物判定方法、プログラム及び記録媒体を提供可能である。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の人物判定装置の一例の構成を示すブロック図である。
【図２】図２は、本発明の人物判定方法の一例を示すフローチャートである。
【図３】図３は、本発明における頭部・顔検出の一例を説明する図である。
【図４】図４は、本発明における頭部・顔検出のその他の例を説明する図である。
【発明を実施するための形態】
【００１２】
つぎに、本発明の人物判定装置、人物判定方法、プログラム及び記録媒体について、例をあげて説明する。ただし、本発明は、下記の例に限定されない。
【００１３】
図１は、本発明の人物判定装置の一例の構成を示すブロック図を示す。図１に示すとおり、この人物判定装置１００は、画像取得手段１０１と、頭部・顔検出手段１０２と、人物属性分析手段１０３と、人物情報格納手段１０４と、人物判定手段１０６とを主要な構成部材として含む。
【００１４】
画像取得手段１０１は、判定対象人物画像を取得する。画像取得手段１０１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。
【００１５】
頭部・顔検出手段１０２は、前記判定対象人物画像から、頭部領域及び顔領域の少なくとも一方を検出する。図３及び図４を参照して、頭部領域及び顔領域の検出について説明する。図３は、判定対象人物画像３０に、左側の正面向きで胸から上が写っている男性と、右側の正面向きで全身が写っている男性の二人の人物が写っている例である。判定対象人物画像３０の頭部領域にラベリング３１ａ及び３１ｂを付し、頭部領域（例えば、頭部領域の座標、大きさ等）を検出する。また、判定対象人物画像３０の顔領域にラベリング３２ａ及び３２ｂを付し、顔領域（例えば、顔領域の座標、大きさ等）を検出する。図４は、判定対象人物画像４０に、左側の後ろ向きで全身が写っている男性と、右側の帽子を被っており、正面向きで全身が写っている男性の二人の人物が写っている例である。判定対象人物画像４０の頭部領域にラベリング４１ｃを付し、頭部領域（例えば、頭部領域の座標、大きさ等）を検出する。また、判定対象人物画像４０の顔領域にラベリング４２ｄを付し、顔領域（例えば、顔領域の座標、大きさ等）を検出する。頭部領域の検出方法は、特に限定されず、例えば、人の一般的な頭部の輪郭を示すテンプレート（マスクパターン）を準備し、このテンプレートを判定対象人物画像にずらしマッチングすることで、判定対象人物画像内に存在する頭部領域を検出するテンプレートマッチング、判定対象人物画像の輝度、色相、形状、耳等の頭部領域の特徴情報を用いた検出等、公知の各種頭部領域検出アルゴリズム（画像処理技術）を用いることができる。また、顔領域の検出方法も、特に限定されず、例えば、人の一般的な顔領域の輪郭を示すテンプレート（マスクパターン）を準備し、このテンプレートを判定対象人物画像にずらしマッチングすることで、判定対象人物画像内に存在する顔領域を検出するテンプレートマッチング、判定対象人物画像の輝度、色相、形状、目等の顔領域の特徴情報を用いた検出等、公知の各種顔領域検出アルゴリズム（画像処理技術）を用いることができる。本発明において、頭部領域及び顔領域の双方を検出することが好ましいが、頭部領域及び顔領域のいずれか一方のみを検出してもよい。
【００１６】
人物属性分析手段１０３は、前記判定対象人物画像から、人物属性を検出する。本発明において、人物属性としては、例えば、性別、年齢、人種、髪の毛の長さ、帽子の有無、髪の毛の色、ヘアスタイル、眼鏡又はサングラスの有無、マスクの有無、髭の有無等があげられる。人物属性の検出方法は、特に限定されないが、例えば、機械学習（パターン認識）により作成した人物属性判定モデルを用いて、前記判定対象人物画像から人物属性を検出する。人物属性が性別である場合、例えば、性別度（例えば、０〜１）に基づいて検出できる。前記性別度は、前記判定対象人物画像を基に算出できる。例えば、前記性別度が「０〜０．５未満」であれば、「女性」と検出し、前記性別度が「０．５〜１」であれば「男性」と検出する、という基準を設定しておき、算出された性別度の値から性別を検出する。なお、性別度から性別を判定する基準は、この例に限定されず、例えば、前記性別度が「０〜０．３」であれば、「女性」と検出し、前記性別度が「０．７〜１」であれば、「男性」と検出し、前記性別度が「０．３より大きく０．７未満」であれば、「性別不明」とする、という基準であってもよい。前記年齢等についても、例えば、所定の基準を設定して、前記判定対象人物画像を基に算出された値から年齢等を判定する。
【００１７】
人物情報格納手段１０４は、前記頭部領域、前記顔領域及び前記人物属性の情報（人物情報）を格納する。人物情報格納手段１０４としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。人物情報格納手段１０４は、例えば、装置内蔵型であってもよいし、外部記憶装置のような外付け型でもよい。
【００１８】
人物判定手段１０６は、人物情報格納手段１０４から取得した人物情報を用いて、前記判定対象人物画像に写った人物が、画像取得手段１０１が先に取得した人物と同一人物か否かを判定する。前記判定の方法は、特に限定されないが、例えば、つぎの方法があげられる。すなわち、まず、同一人物か否かを判定するための閾値を、人物情報格納手段１０４に格納されている各人物情報（例えば、頭部領域の縦座標・横座標・大きさ、人物の性別、年齢、帽子の有無、眼鏡又はサングラスの有無、マスクの有無等）毎に予め設定しておく。また、人物情報格納手段１０４に格納されている人物情報のうち、閾値以下であることが必須の人物情報、及び、閾値以下でなければならない人物情報の数も予め定めておく。そして、個々の人物情報の変化量を求めてその変化量が前記閾値以下であれば、その人物情報については条件を満たしていると判断し、条件を満たした人物情報が予め定めた数以上であり、かつ、閾値以下であることを必須とした人物情報について条件を満たしている場合には、同一人物であると判定し、そうでない場合には、同一人物でない（異なる人物である）と判定する。
【００１９】
図１に示すように、本発明の人物判定装置１００は、さらに、人物情報取得手段１０５を含むことが好ましい。人物情報取得手段１０５は、前記判定対象人物画像を、画像取得手段１０１から頭部・顔検出手段１０２及び人物属性分析手段１０３に送る。ただし、人物情報取得手段１０５は任意の構成部材であり、本発明の人物判定装置１００は、人物情報取得手段１０５を含まなくてもよい。
【００２０】
図示していないが、本発明の人物判定装置１００は、さらに、識別番号付与手段を含むことが好ましい。前記識別番号付与手段は、人物判定手段１０６が同一人物と判定したときは、前記判定対象人物画像に写った人物に、前記先に取得した画像に写った人物と同じ識別番号を付与し、人物判定手段１０６が異なる人物と判定したときは、前記判定対象人物画像に写った人物に、新たな識別番号を付与する。本発明の人物判定装置１００が前記識別番号付与手段を含む場合には、人物情報格納手段１０４は、前記識別番号を記録する。小売店において、来店した人物がどのような経路で店舗内を移動し、商品を見て、購入を決定するのかという情報は、店舗にとって商品配置及び販売戦略を決める重要な情報となり得る。しかしながら、この情報を採取するためには、人物を追跡しなければならないが、限られた店員の数で多くの来客者を一人一人追跡するのはほぼ不可能である。これに対し、同一人物と判定した場合に同じ識別番号を付与することで、画像取得手段１０１で経時的に取得された複数の画像から同一人物を追跡することが可能である。また、近年は、防犯等を目的に、監視カメラを設置している店舗は多い。そこで、この監視カメラで撮影した画像から人物を判定できれば、これらの情報の採取も可能である。ただし、前記識別番号付与手段は任意の構成部材であり、本発明の人物判定装置１００は、前記識別番号付与手段を含まなくてもよい。
【００２１】
図１に示すように、本発明の人物判定装置１００において、頭部・顔検出手段１０２と、人物属性分析手段１０３とが、同一のサーバ１０７内にあることが好ましい。また、図１に示すように、本発明の人物判定装置１００において、人物情報取得手段１０５と、人物判定手段１０６とが、同一のサーバ１０８内にあることが好ましい。ただし、本発明の人物判定装置１００において、各手段は必ずしも同一のサーバ内になくてもよく、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット、クラウドシステム等の有線又は無線の通信回線網により判定対象人物画像及び人物情報等を送受信できればよい。
【００２２】
つぎに、図２を参照して、人物判定装置１００を用いた人物判定方法について説明する。
【００２３】
まず、人物情報取得手段１０５は、画像取得手段１０１を通じて判定対象人物画像を取得する（ステップ２０１（Ｓ２０１））。
【００２４】
つぎに、人物情報取得手段１０５は、前記判定対象人物画像を、頭部・顔検出手段１０２及び人物属性分析手段１０３に送る（ステップ２０２（Ｓ２０２））。
【００２５】
つぎに、頭部・顔検出手段１０２は、前記判定対象人物画像から、頭部領域（例えば、頭部領域の座標、大きさ等）及び顔領域（例えば、顔領域の座標、大きさ等）の少なくとも一方を検出する（ステップ２０３（Ｓ２０３））。
【００２６】
つぎに、人物属性分析手段１０３は、前記判定対象人物画像から、人物属性（例えば、人物の性別、年齢、帽子の有無、眼鏡又はサングラスの有無、マスクの有無等）を検出する（ステップ２０４（Ｓ２０４））。
【００２７】
図２では、頭部・顔検出手段１０２による検出の後に人物属性分析手段１０３による検出を行っているが、本発明の人物判定方法は、これに限定されない。本発明の人物判定方法では、人物属性分析手段１０３による検出の後に頭部・顔検出手段１０２による検出を行ってもよいし、両者を同時に行ってもよい。
【００２８】
つぎに、検出された前記頭部領域、前記顔領域及び前記人物属性の情報（人物情報）を人物情報格納手段１０４に格納する（ステップ２０５（Ｓ２０５））。
【００２９】
つぎに、人物判定手段１０６は、前記判定対象人物画像に写った人物が、画像取得手段１０１が先に取得した画像に写った人物と同一人物か否かを判定するために、比較対象の人物情報を人物情報格納手段１０４から取得する（ステップ２０６（Ｓ２０６））。
【００３０】
つぎに、人物判定手段１０６は、各人物情報の変化量を算出する（ステップ２０７（Ｓ２０７））。
【００３１】
つぎに、人物判定手段１０６は、各人物情報の変化量と各人物情報毎に予め設定した閾値とを比較する（ステップ２０８（Ｓ２０８））。
【００３２】
つぎに、人物判定手段１０６は、変化量が閾値以下の人物情報の数が予め定めた設定値より多く、かつ、必須とした人物情報の変化量が閾値以下であるかを判定し（ステップ２０９（Ｓ２０９））、条件を満たす場合には（Ｙｅｓ）、ステップ２１０（Ｓ２１０）に進み、前記識別番号付与手段が、前記判定対象人物画像に写った人物に、前記先に取得した画像に写った人物と同じ識別番号を付与し、条件を満たさない場合には（Ｎｏ）、ステップ２１１（Ｓ２１１）に進み、前記判定対象人物画像に写った人物に、新たな識別番号を付与する。人物情報格納手段１０４は、前記識別番号を記録する。
【００３３】
この後は、新たに取得された判定対象人物画像に対して、同様の処理を繰り返す。このとき、先ほど付与した識別番号は、新たに取得された判定対象人物画像と、先ほど判定した画像に写った人物とが同一人物か否かの判定に使用される。ただし、同一人物か否かの判定においては、直前に判定した画像の識別番号のみを使用し、二つ以上前に判定した画像に付与した識別番号は用いない。ただし、識別番号を、一連の動作を撮影した全ての画像に対して人物判定を行った後に集計し、撮影した期間における人物の一連の動きを追跡するのに利用することは可能である。
【００３４】
本発明の人物判定装置及び人物判定方法によれば、画像取得手段で取得された異なる画像に写った人物を同一人物か否か判定する際、判定対象人物画像から検出した頭部領域及び顔領域の少なくとも一方に加えて、人物属性を用いることで、頭部領域及び顔領域のみでは判定できなかった、複数の人物が近い距離にいる場合、又は、複数の人物の位置が入れ替わった場合にも同一人物か否かの判定が可能となる。
【００３５】
前述の例において、前記判定対象人物画像は、一つの画像取得手段１０１が経時的に取得した画像であるが、本発明の人物判定装置及び人物判定方法によれば、異なる画像取得手段で取得した複数の画像で人物判定を行うことも可能である。
【００３６】
本発明のプログラムは、前述の人物判定方法を、コンピュータ上で実行可能なプログラムである。本発明のプログラムは、例えば、記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【産業上の利用可能性】
【００３７】
本発明の人物判定装置、人物判定方法、プログラム及び記録媒体は、例えば、店舗等の限られた空間において、そこにいる人物の移動経路、行動分析等を行う場合等に広く利用できる。
【符号の説明】
【００３８】
３０、４０  判定対象人物画像
３１ａ、３１ｂ、３２ａ、３２ｂ、４１ｃ、４２ｄ  ラベリング
１００  人物判定装置
１０１  画像取得手段
１０２  頭部・顔検出手段
１０３  人物属性分析手段
１０４  人物情報格納手段
１０５  人物情報取得手段
１０６  人物判定手段
１０７、１０８  サーバ
【図１】
2015001871.tif 000003
【図２】
2015001871.tif 000004
【図３】
2015001871.tif 000005
【図４】
2015001871.tif 000006
【手続補正書】
【提出日】平成26年10月7日(2014.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
請求項９記載のプログラムを記録していることを特徴とするコンピュータ読み取り可能な記録媒体。