(57)【要約】【課題】本発明は、人物の体型を判別するための体型判定方法及び体型判定システム並びにそれを用いた監視システムに関し、人物の画像から体型の特徴量を算出して、体型を判別する体型判定方法及び体型判定システム並びにそれを用いた監視システムを適用することを目的とする。【解決手段】本発明は、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、体型特徴量算出手順で算出された体型の特徴量に基づいて人物の体型を判別する。【選択図】図１
2010233737.tif 000002
【特許請求の範囲】
【請求項１】
人物の体型を判別する体型判定方法であって、
前記人物の全体画像を取得する画像取得手順と、
前記人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、
前記体型特徴量算出手順で算出された前記体型の特徴量に基づいて前記人物の体型を判別する体型判定方法。
【請求項２】
前記画像取得手順は、連続する複数の画像から前記人物の矩形画像を抽出し、前記矩形画像抽出手順で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する請求項１記載の体型判定方法。
【請求項３】
前記画像取得手順は、前記矩形画像から人物のエッジを抽出する請求項２記載の体型判定方法。
【請求項４】
前記画像取得手段は、前記矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する請求項３記載の体型判定方法。
【請求項５】
前記体型特徴量算出手順は、前記特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出する請求項１乃至４のいずれか一項記載の体型判定方法。
【請求項６】
前記肥満度は、
【数１】
2010233737.tif 000009
により算出される請求項５記載の体型判定方法。
【請求項７】
前記縦横比は、
【数２】
2010233737.tif 000010
により算出される請求項５又は６記載の体型判定方法。
【請求項８】
前記２次モーメント、慣性主軸は、
【数３】
2010233737.tif 000011
により算出される請求項５乃至７のいずれか一項記載の体型判定方法。
【請求項９】
人物の体型を判別する体型判定システムであって、
前記人物の全体画像を取得する画像取得部と、
前記人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出部と、
前記体型特徴量算出部で算出された前記体型の特徴量に基づいて前記人物の体型を判別する体型判定部とを含む体型判定システム。
【請求項１０】
前記画像取得部は、連続する複数の画像から前記人物の矩形画像を抽出し、前記矩形画像抽出手順で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する矩形画像抽出部を含む請求項９記載の体型判定システム。
【請求項１１】
前記画像取得部は、前記矩形画像から人物のエッジを抽出するエッジ抽出部を含む請求項１０記載の体型判定システム。
【請求項１２】
前記エッジ抽出部は、前記矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する請求項１１記載の体型判定方法。
【請求項１３】
前記体型特徴量算出部は、前記特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出するする請求項９乃至１２のいずれか一項記載の体型判定システム。
【請求項１４】
前記肥満度は、
【数４】
2010233737.tif 000012
により算出される請求項１３記載の体型判定システム。
【請求項１５】
前記縦横比は、
【数５】
2010233737.tif 000013
により算出される請求項１３又は１４記載の体型判定システム。
【請求項１６】
前記２次モーメント、慣性主軸は、
【数６】
2010233737.tif 000014
により算出される請求項１３乃至１５のいずれか一項記載の体型判定システム。
【請求項１７】
前記体型の特徴量を含む人物の情報が登録された人物データベースと、
前記体型特徴量算出部で算出された前記特徴量に基づいて前記人物データベースを参照して、前記特徴量に対応する候補者を抽出する候補者抽出部とを含み、
前記候補者抽出部で抽出された前記候補者の情報を表示装置に表示させ、監視を行う請求項９乃至１６のいずれか一項記載の体型判定システムを用いた監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体型判定方法及び体型判定システム並びにそれを用いた監視システムに係り、特に、人物の体型を判別するための体型判定方法及び体型判定システム並びにそれを用いた監視システムに関する。
【背景技術】
【０００２】
近年、画像処理技術の発達に伴って、顔認証などの技術を用いた監視システムが開発されている。
【０００３】
大型店舗や多くの人が訪れる施設において、監視カメラにより撮像された画像から人物の顔画像を抽出し、抽出された顔画像を不審者や犯罪者の顔画像が予め登録されたデータベースの顔画像と比較して、不審者や犯罪者を検知しようとする場合、入退出システムとは異なり、監視カメラにより撮影される人物の顔の画像は、必ずしも正面から撮影されたものではない。むしろ、上下左右にずれた方向から撮影されることが多くなる。また、人物の顔の画像も非常に小さくなる。
【０００４】
このため、単純に従来からの顔認証システムにより不審者や犯罪者を検知しようとすると、誤検知などが発生しやすくなる。また、正確な検知を行うために、設定を厳しくすると、ほとんど検知が行えず、また、検知の精度を低くすると、検知される候補者の数が多くなる。
【０００５】
このため、大型店舗や多くの人が訪れる施設などにおいて顔認証システムのみを用いて不審者や犯罪者の検知を行うことは困難を有する。このため、その人物を特定するための補助的な手法として、体型を用いることが考えられている。
【０００６】
なお、健康管理の面から、人の正面及び側面のシルエットを撮影し、性別、身長、体重などの情報とともに、体型のデータとして表示装置に表示させる体型分析装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２１７９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、監視システムなどの分野においては、これまで体型を画像上から自動で判別する手法については取り組まれていないのが現状である。
【０００９】
本発明は、上記の点に鑑みてなされたもので、人物の画像から体型の特徴量を算出して、体型を判別できる体型判定方法及び体型判定システム並びにそれを用いた監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、体型特徴量算出手順で算出された体型の特徴量に基づいて人物の体型を判別する。
【００１１】
本発明の画像取得手順は、連続する複数の画像から横を向いている人物の矩形画像を抽出し、矩形画像抽出手段で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する。
【００１２】
本発明の画像取得手段は、矩形画像から人物のエッジを抽出する。また、本発明の画像取得手段は、矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する。
【００１３】
本発明の体型特徴量算出手順は、特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出する。
【００１４】
肥満度は、
【００１５】
【数１】
2010233737.tif 000003
により算出される。
【００１６】
また、縦横比は、
【００１７】
【数２】
2010233737.tif 000004
により算出される。
【００１８】
２次モーメント、慣性主軸は、
【００１９】
【数３】
2010233737.tif 000005
により算出される。
【００２０】
また、本発明は、人物の体型を判別する体型判定システムであって、人物の全体画像を取得する画像取得部と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出部と、体型特徴量算出部で算出された体型の特徴量に基づいて人物の体型を判別する体型判定部とを含む。
【００２１】
さらに、本発明は、監視システムにおいて、体型の特徴量を含む人物の情報が登録された人物データベースと、体型特徴量算出部で算出された前記特徴量に基づいて人物データベースを参照して、特徴量に対応する候補者を抽出する候補者抽出部とを含み、候補者抽出部で抽出された候補者の情報を表示装置に表示させ、監視を行う。
【発明の効果】
【００２２】
本発明によれば、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出し、算出された体型の特徴量に基づいて人物の体型を判別することにより、人物の体型から人物を判定することが可能となり、例えば、顔がはっきりしない画像から人物を特定することが可能となる。また、顔認証などと組み合わせて用いることにより、人物を正確に特定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施例のシステム構成図である。
【図２】矩形画像抽出部１３１の動作を説明するための図である。
【図３】エッジ抽出部１３２の動作を説明するための図である。
【図４】体型判定データベース１３０のデータ構成図である。
【図５】体型判定の具体例を説明するための図である。
【図６】体型判定の具体例に用いられたサンプル画像を示す図である。
【図７】監視装置１４０のブロック構成図である。
【図８】人物データベース１５０のデータ構成図である。
【発明を実施するための形態】
【００２４】
図１は本発明の一実施例のシステム構成図を示す。
【００２５】
本実施例の監視システム１００は、監視カメラ１００、体型判定装置１２０、体型判定データベース１３０、監視装置１４０、人物情報データベース１５０を含む構成とされている。
【００２６】
監視カメラ１００は、周囲の画像を撮影して、体型判定装置１２０及び監視装置１４０に供給する。
【００２７】
体型判定装置１２０は、コンピュータシステムなどを含む構成とされており、画像処理部１２１、特徴量算出部１２２、体型判定部１２３を含む構成とされている。なお、画像処理部１２１、特徴量算出部１２２、体型判定部１２３は、例えば、コンピュータプログラムによって実現される。
【００２８】
画像処理部１２１は、矩形画像抽出部１３１、エッジ抽出部１３２を含む構成とされている。
【００２９】
図２は矩形画像抽出部１３１の動作を説明するための図を示す。
【００３０】
矩形画像抽出部１３１は、最初に監視カメラ１００から供給される画像から図２に示すような特定の人物の矩形画像を時刻ｔ１−ｔ１２まで連続的に抽出する。なお、矩形画像は、図２に示すように画像から人物の最外形の画像を矩形状に切り取ったものである。矩形画像抽出部１３１は、次に時刻ｔ１−ｔ１２の矩形画像のうち、腕の振りの影響と、歩行時の体の沈みこみによる影響の少ない画像を抽出する。
【００３１】
矩形画像抽出部１３１は、時刻ｔ１−ｔ１２までの連続する矩形画像のうち、人物領域の幅「ｄｘ」が小さく、かつ、矩形画像の高さ「ｄｙ」が大きい矩形画像、例えば、（矩形高）÷（人物幅）が大きい３枚の画像を抽出する。このとき、「ｄｘ」が小さい画像は、人物が横向きかつ腕の振りの影響が少ない画像であることが期待でき、「ｄｙ」が大きい画像は、歩行時の体の沈みこみによる影響が少ない画像であることが期待できる。なお、人物幅は、エッジ抽出部１３２で人物のエッジを抽出し、抽出したエッジの幅を検知することにより求めることができる。
【００３２】
なお、人物幅は、胸から背中までの厚みを、真の人物幅として用いる。矩形高により、歩行などによる体の沈みこみが少ない画像を抽出している。
【００３３】
矩形画像抽出部１３１で抽出された矩形画像は、特徴量算出部１２２及びエッジ抽出部１３２に供給される。
【００３４】
図３はエッジ抽出部１３２の動作を説明するための図を示す。図３（Ａ）は矩形画像抽出部１３１から供給された矩形画像、図３（Ｂ）はエッジ画像、図３（Ｃ）は前面のエッジ画像を示す。
【００３５】
エッジ抽出部１３２は、矩形画像抽出部１３１で抽出された矩形画像に、エッジ抽出フィルタ、例えば、キルシュ（Kirsch）フィルタを適用することにより、人物のエッジ及びそのエッジの方向成分を算出する。キルシュフィルタは、例えば、８方向のエッジの強さを検出可能なフィルタである。キルシュフィルタを用いて０、１８０度方向、９０、２７０度方向、４５、２２５度方向、１３５、３１５度方向のエッジの方向成分を検出する。なお、エッジ等の抽出に用いるエッジ抽出フィルタは、キルシュフィルタに限らず、ガボール（Gabor）フィルタなど、公知のフィルタの中から任意のフィルタを選択して利用してもよい。
【００３６】
エッジ抽出部１３２で抽出された人物のエッジ及びそのエッジの方向成分は、特徴量算出部１２２に供給される。
【００３７】
通常、人が体型判定の際には、胸部、腹部、臀部、体の厚み、体の丸み、足の細さに注目していることがわかっている。よって、特徴量算出部１２２では、胸部・腹部のエッジ情報に着目した特徴量「肥満度」を算出する。また、体型判定の特徴量として、「肥満度」、「縦横比」、物体の伸びている方向を表す「慣性主軸」を用いることとした。また、性別の判定については男女で最も差異があると思われる胸部の影響を考慮し、「縦横比」「慣性主軸」と、「２次モーメント」を特徴量として算出する。
【００３８】
よって、特徴量算出部１２２は、肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３を含む構成とされている。
【００３９】
肥満度算出部１４１は、エッジ抽出部１３２で抽出されたエッジをその方向成分に基づいて、例えば、０度、４５度、９０度、１３５度の４種類に分類して、分類された方向成分毎のエッジ数に基づいて肥満度を算出する。
【００４０】
例えば、やせ形の人は、人体前面のエッジの方向が略垂直に近く、４５度、１３５度の角度成分のエッジの数は少なく、肥満の人は、人体前面のエッジの方向に角度を持つので４５度、１３５度の角度成分のエッジの数は多くなる。よって、４５度、１３５度の角度成分のエッジの数の全体のエッジの数に対する割合を求めることにより肥満度を算出することができる。
【００４１】
肥満度は、例えば、下記の式（１）により算出される。
【００４２】
【数４】
2010233737.tif 000006
縦横比算出部１４２には、エッジ抽出部１３２からエッジ画像が提供される。縦横比算出部１４２は、人物の上半身側のエッジ画像から人物の上半身の側の幅ｗの平均値を求め
、人物の高さｈの１／２を二乗した値で割ることにより上半身についての縦に対する横の比率を算出する。なお、縦横比は、例えば、下記の式（２）により算出される。
【００４３】
【数５】
2010233737.tif 000007
２次モーメント・慣性主軸算出部１４３は、人物の画像I(x,y)についての２次の慣性モーメント及び慣性主軸を求める。２次の慣性モーメント及び慣性主軸により、縦横比とは、異なる特徴量を求めることができる。なお、慣性モーメントにより、回転しやすさ、慣性主軸により人体の延びている方向を検知できる。
【００４４】
なお、２次の慣性モーメント及び慣性主軸は、一般に、下記の式（３）、（４）により算出することができる。
【００４５】
【数６】
2010233737.tif 000008
上記特徴量算出部１２２の肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３で算出された肥満度、縦横比、２次モーメント、慣性主軸などの特徴量は、体型判定部１２６に供給される。
【００４６】
体型判定部１２６は、特徴量算出部１２２から供給された特徴量に基づいて体型判定データベース１３０を参照する。
【００４７】
図４は、体型判定データベース１３０のデータ構成図を示す。
【００４８】
体型判定データベース１３０は、体型毎に、肥満度、縦横比、２次モーメント、慣性主軸などの体型を判別するための特徴量が登録された構成とされている。
【００４９】
例えば、体型判定部１２３は、肥満度がＡ11、縦横比がＢ11、２次モーメントがＣ11、慣性主軸がＤ11である場合には、肥満型の体型であると判定し、肥満度がＡ21、縦横比がＢ21、２次モーメントがＣ21、慣性主軸がＤ21である場合には、標準型の体型であると判定し、肥満度がＡ31、縦横比がＢ31、２次モーメントがＣ31、慣性主軸がＤ31である場合には、痩せ形の体型であると判定する。
【００５０】
なお、体型判定データベース１３０は、予め、判定しようとする体型毎、例えば、男／女、痩せ／標準／肥満のサンプル画像データに対して上記式（１）〜（４）を適用して、求められる肥満度、縦横比率、２次モーメント、慣性主軸を、体型毎の特徴量として、登録しておく。
【００５１】
図５に体型判定の具体例を説明するための図、図６は体型判定の具体例に用いられたサンプル画像を示す図である。なお、図６（Ａ）は男性痩せ形のサンプル画像、図６（Ｂ）は男性標準体型のサンプル画像、図６（Ｃ）は男性肥満体型のサンプル画像、図６（Ｄ）は女性痩せ形のサンプル画像、図６（Ｅ）は女性標準体型のサンプル画像、図６（Ｆ）は女性肥満体型のサンプル画像を示す。なお、図５において、男性の身長は１８０ｃｍ、女性の身長は１６０ｃｍとして肥満度、縦横比、２次モーメント、慣性主軸を算出した。
【００５２】
図６（Ａ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＡに示すように肥満度は「０．１１７７１」、縦横比は「０．１０１３１３」、２次モーメントは「９．０５７０９８」、慣性主軸は「―０．７２５６３」となった。
【００５３】
また、図６（Ｂ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＢに示すように肥満度は「０．１１９９８２」、縦横比は「０．１４１１７５」、２次モーメントは「１０．１１５５９２」、慣性主軸は「―３．０６５３０３」となった。
【００５４】
さらに、図６（Ｃ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＣに示すように肥満度は「０．１４４９６４」、縦横比は「０．１４３６９８」、２次モーメントは「１１．１８２７４７」、慣性主軸は「―３．２５９９７８」となった。
【００５５】
図６（Ｄ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＤに示すように肥満度は「０．１４０３３２」、縦横比は「０．１１１４４３」、２次モーメントは「―４．２１６９９」、慣性主軸は「７．１１３０８４」となった。
【００５６】
また、図６（Ｅ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＥに示すように肥満度は「０．１０４６８５」、縦横比は「０．１１５６５９」、２次モーメントは「―２．７６３０９４」、慣性主軸は「７．１６３４３２」となった。
【００５７】
さらに、図６（Ｆ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＦに示すように肥満度は「０．１５８９３２」、縦横比は「０．１３７６４１」、２次モーメントは「１．６８２３８８」、慣性主軸は「７．６９８０８５」となった。
【００５８】
このように、男性は女性に比べて、肥満度、縦横比が小さい。また、２次モーメント、慣性主軸が全く異なる値となることがわかる。
【００５９】
さらに、男性、女性とも肥満体型になるに従って肥満度、縦横比、２次モーメント、慣性主軸が大きくなることがわかる。
【００６０】
図５に示すような肥満度、縦横比、２次モーメント、慣性主軸の値に基づいて閾値を設定し、性別、痩せ形、普通体型、肥満体型の判定を行うことができる。
【００６１】
このように上記式（１）〜（４）を用いて算出される肥満度、縦横比、２次モーメント、慣性主軸を用いることにより体型及び性別を判定することが可能となる。
【００６２】
なお、体型判定部１２３の判定結果及び特徴量算出部１２２の肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３で算出された肥満度、縦横比、２次モーメント、慣性主軸などの特徴量は、監視装置１４０に供給される。
【００６３】
図７は監視装置１４０のブロック構成図を示す。
【００６４】
監視装置１４０は、インタフェース１６１、処理部１６２、表示装置１６３、入力装置１６４、記憶部１６５を含む構成とされている。
【００６５】
インタフェース１６１は、ＵＳＢなど各種インタフェースから構成されており、監視カメラ１１０、画像処理装置１２０、人物情報データベース１５０とのインタフェースをとる。
【００６６】
処理部１６２は、ＣＰＵなどから構成されており、記憶部１６５に記憶されている。監視プログラムに基づいて処理を実行する。表示装置１６３は、ＬＣＤ、ＣＲＴなどを含む構成とされており、監視カメラ１１０により撮影された画像を表示したり、人物情報データベース１５０から読み出された候補者の画像及び情報などを表示するのに用いられる。
【００６７】
入力装置１６４は、マウス、キーボード、キースイッチなどを含む構成とされており、画像の切換指示や人物情報データベース１５０の検索などの命令を指示するのに用いられる。
【００６８】
記憶部１６５は、メモリ、ハードディスクドライブなどを含む構成とされており、監視プログラム、検索プログラムなどの各種プログラムがインストールされているとともに、処理部１６２の作業用記憶領域として用いられる。
【００６９】
図８は人物情報データベース１５０のデータ構成図を示す。
【００７０】
人物情報データベース１５０は、例えば、人物毎に、ＩＤ、名称、経歴、顔画像情報、体型情報、備考などが登録された構成とされている。
【００７１】
ここで、監視装置１４０は、監視カメラ１１０からの画像から人物の顔画像を抽出して、人物情報データベース１５０を参照することにより顔認証を行い、監視カメラ１１０に撮影されている人物の候補者を抽出し、さらに、体型判定装置１２０からの監視カメラ１１０からの画像から顔画像が抽出された人物の体型判定結果に基づいて人物情報データベース１５０を参照し、候補者から、更に、体型判定結果が一致する人物を抽出する。
【００７２】
このように、顔認証だけでなく、体型によって候補者を絞り込むことができ、精度よく人物の特定を行うことができるようになる。
【００７３】
また、人物情報データベース１５０に体型分類だけでなく、体型の特徴量を登録することにより、さらに、精細に体型を特定でき、人物の特定を高精度に行えるようになる。
【００７４】
なお、性別により、本実施例で算出される特徴量も変化することが予測できるため、本実施例で算出される特徴量を用いて性別の判定も可能となる。
【００７５】
よって、本実施例の体型判定システム１００を用いることにより、膨大な記録映像の中から「太っている人物の画像を検索する」といった検索技術への応用や、指名手配情報の自動作成などといった応用も期待出来る。
【００７６】
本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形例が考えられることは言うまでもない。
【符号の説明】
【００７７】
１００  監視システム
１１０  監視カメラ
１２０  体型判定装置
１２１  画像処理部、１２２  特徴量算出部、１２３  体型判定部
１３０  体型判定データベース
１３１  矩形画像抽出部、１３２  エッジ抽出部
１４０  監視装置
１４１  肥満度算出部、１４２  縦横比算出
１４３  ２次モーメント・慣性主軸算出部
１５０  人物情報データベース
１６１  インタフェース、１６２  処理部、１６３  表示装置、１６４  入力装置
１６５  記憶部
【図１】
2010233737.tif 000015
【図２】
2010233737.tif 000016
【図３】
2010233737.tif 000017
【図４】
2010233737.tif 000018
【図５】
2010233737.tif 000019
【図７】
2010233737.tif 000020
【図８】
2010233737.tif 000021
【図６】
2010233737.tif 000022