(57)【要約】【課題】顔の撮影によってユーザに心理的負担を与えることを回避する。人物の姿勢の変化にも容易に対応した、汎用性の高い属性認識を可能にする。様々な人物に対して属性認識を高精度で行うことを可能にする。【解決手段】属性決定装置３は、位置検出部１６と、属性認識部１７とを備える。位置検出部１６は、人物を上方から撮影した画像から、上記人物の骨格を規定する点となる制御点の位置を検出する。属性認識部１７は、位置検出部１６での検出結果を用いて、上記人物の属性を認識する。【選択図】図１
2020098474.tif 000002
【特許請求の範囲】
【請求項１】
人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出部と、
前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識部とを備えていることを特徴とする属性決定装置。
【請求項２】
前記属性認識部は、前記制御点の位置の時系列の変動に基づいて、前記属性を認識することを特徴とする請求項１に記載の属性決定装置。
【請求項３】
前記属性認識部は、複数の前記制御点の位置関係に基づいて、前記属性を認識することを特徴とする請求項１に記載の属性決定装置。
【請求項４】
前記属性認識部は、
前記画像から前記属性を認識するための特徴量を抽出して特徴マップを生成する特徴量抽出器と、
前記特徴マップに対してマスク処理を行う特徴量変換器と、
前記マスク処理後の特徴マップに基づいて、前記属性を識別する識別器とを含み、
前記特徴量変換器は、前記制御点から離れる位置ほど前記特徴量の低下度合いが大きくなるマスクを前記特徴マップにかけることにより、前記マスク処理を行うことを特徴とする請求項１に記載の属性決定装置。
【請求項５】
前記マスクは、前記特徴量の低下度合いが前記制御点を頂上とする正規分布となるように変化する重みを有することを特徴とする請求項４に記載の属性決定装置。
【請求項６】
前記正規分布の標準偏差は、前記人物の骨格中での前記制御点の位置に応じて異なることを特徴とする請求項５に記載の属性決定装置。
【請求項７】
前記正規分布の標準偏差は、前記識別器が識別する前記属性に応じて異なることを特徴とする請求項５または６に記載の属性決定装置。
【請求項８】
前記人物の属性は、前記人物の年齢、年齢層、性別、肥満度、被服、装着物、携帯物の少なくともいずれかであることを特徴とする請求項１から７のいずれかに記載の属性決定装置。
【請求項９】
請求項１から８のいずれかに記載の属性決定装置と、
人物を上方から撮影して前記画像を取得し、前記画像のデータを前記属性決定装置に出力する画像取得部とを備えていることを特徴とする属性決定システム。
【請求項１０】
前記画像取得部は、ＲＧＢカメラを含むことを特徴とする請求項９に記載の属性決定システム。
【請求項１１】
前記画像取得部は、サーマルカメラまたはデプスカメラを含むことを特徴とする請求項９または１０に記載の属性決定システム。
【請求項１２】
前記画像取得部は、赤外線カメラまたはモノクロカメラを含むことを特徴とする請求項９から１１のいずれかに記載の属性決定システム。
【請求項１３】
人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出工程と、
前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識工程とを含むことを特徴とする属性決定方法。
【請求項１４】
前記属性認識工程では、前記制御点の位置の時系列の変動に基づいて、前記属性を認識することを特徴とする請求項１３に記載の属性決定方法。
【請求項１５】
前記属性認識工程では、複数の前記制御点の位置関係に基づいて、前記属性を認識することを特徴とする請求項１３に記載の属性決定方法。
【請求項１６】
前記属性認識工程は、
前記画像から前記属性を認識するための特徴量を抽出して特徴マップを生成する特徴量抽出工程と、
前記特徴マップに対してマスク処理を行う特徴量変換工程と、
前記マスク処理後の特徴マップに基づいて、前記属性を識別する識別工程とを含み、
前記特徴量変換工程では、前記制御点から離れる位置ほど前記特徴量の低下度合いが大きくなるマスクを前記特徴マップにかけることにより、前記マスク処理を行うことを特徴とする請求項１３に記載の属性決定方法。
【請求項１７】
請求項１３から１６のいずれかに記載の属性決定方法をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物を上方から撮影した画像をもとにして、人物の属性を決定する属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、人物の顔画像に基づいて、人物の性別や年齢などの属性を認識する技術が広く知られている。しかし、例えば店舗において、ある商品群とコンタクトをとる人物の属性を顔画像に基づいて認識するためには、各売り場や各陳列棚に、顔画像を取得するためのカメラを設置する必要がある。この場合、カメラの設置台数が多くなり、コストが掛かるだけでなく、カメラを向けられるユーザの心理的負担も高くなる。
【０００３】
したがって、コスト低減およびユーザの心理的負担の軽減の観点では、店舗の天井などにカメラを設置し、人物を上方から広域に撮影して人物の全身像を含む画像を取得し、取得した画像から人物の属性を認識することが望ましい。この点、例えば特許文献１のシステムでは、天井や壁面に設置したメインカメラで店舗全域を撮影して人物の画像部分を解析し、顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して性別、年齢層を推測するようにしている。
【０００４】
また、例えば特許文献２の技術では、人物形状のひな形と、被服の種類ごとに用意された被服形状とを記憶部に格納し、カメラ画像内において検出されるエッジをひな形と照合して人物検出を行い、その人物形状から人物の性別を推定するようにしている。また、被服形状と人物形状とを照合することにより、人物が着用している被服の種類を推定し、推定された性別および被服の種類に基づいて、性別および被服の種類別に、画像に含まれる人数を集計するようにしている。
【０００５】
一方、店舗内で人物を撮影して画像を取得した場合、上記画像には、人物以外の背景が映り込むことが多い。この背景には、属性を認識する対象となる人物以外の人物や、売り場に陳列されている商品も含まれる。この場合、画像の背景部分が人物の属性認識そのものに悪影響を及ぼしてしまうことが考えられる。例えば、女性向けの洋服が陳列されている売り場の前を通る男性が、背景に映り込んだ女性向けの洋服で女性と誤認識される可能性は高い。
【０００６】
この点、例えば特許文献３では、入力画像から人物のシルエットを抽出し、背景に相当する部分の特徴量に乱数を加えるなどの処理を行って、背景のバリエーションを増やし、物体を識別するための識別パラメータを学習することにより、背景の影響を受けにくい、高い識別性能を得るようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−７４３３０号公報（請求項１〜３、段落〔００２１〕、〔００２３〕、図１等参照）
【特許文献２】特開２０１２−１７３７６１号公報（請求項１、段落〔０００７〕〜〔００１２〕、図１〜図４等参照）
【特許文献３】特開２００８−５９１１０号公報（請求項１、７、８、段落〔００１０〕〜〔００１２〕、〔００５０〕、図１〜図６等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、天井などに設置されたカメラで撮影された画像から、人物の属性を精度よく判定する手法は難易度が高い。特許文献１においては、属性の特定が困難な場合、売り場の陳列棚の近くに設置した補助カメラで撮影した顔画像を詳細に解析して性別、年齢層を推測するようにしている。したがって、特許文献１の技術では、カメラを向けられるユーザに心理的負担を与える問題が依然として残る（特許文献１の技術は、画像として人物の全身像のみを用いて属性を認識する手法としては十分ではない）。
【０００９】
また、店舗内において、属性を認識する対象となる人物の姿勢は、自らの移動や商品棚からの商品の取り出し等によって絶えず変化する。特許文献２では、推定した人物形状を、予め記憶部に格納した一定の被服形状とマッチングするか否かで被服を推定するため、人物の姿勢が変化すると、人物形状と被服形状とのマッチングが困難となり、被服を認識できない場合が生ずる。つまり、人物の姿勢によっては属性を認識できない場合があり、汎用性の高い属性認識を行うことができない。
【００１０】
また、特許文献３のように、背景のバリエーションを増やして識別パラメータを学習する場合、人物のシルエット部分は同じで、背景部分の特徴量だけが異なる複数の画像が生成される。このような画像を用いて識別パラメータを学習すると、識別パラメータが同じ人物に過学習してしまう可能性がある。このため、様々な人物について属性を高精度で認識することが困難となる。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、その目的は、顔の撮影によってユーザに心理的負担を与えることを回避でき、人物の姿勢の変化にも容易に対応した、汎用性の高い属性認識を行うことができ、さらに、様々な人物に対して属性認識を高精度で行うことができる属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一側面に係る属性決定装置は、人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出部と、前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識部とを備えている。
【００１３】
本発明の他の側面に係る属性決定システムは、上記の属性決定装置と、人物を上方から撮影して前記画像を取得し、前記画像のデータを前記属性決定装置に出力する画像取得部とを備えている。
【００１４】
本発明のさらに他の側面に係る属性決定方法は、人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出工程と、前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識工程とを含む。
【００１５】
本発明のさらに他の側面に係るプログラムは、上記の属性決定方法をコンピュータに実行させるためのプログラムである。
【００１６】
本発明のさらに他の側面に係る記録媒体は、上記のプログラムを記録した、コンピュータ読取可能な記録媒体である。
【発明の効果】
【００１７】
顔の撮影によってユーザに心理的負担を与えることを回避することができる。また、人物の姿勢の変化にも容易に対応した、汎用性の高い属性認識を行うことができる。さらに、様々な人物に対して属性認識を高精度で行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の一形態の属性決定システムの概略の構成を示すブロック図である。
【図２】上記属性決定システムでの属性認識方法による処理の流れを示すフローチャートである。
【図３】各フレームの画像で検出した制御点の例を示す説明図である。
【図４】本発明の他の実施の形態の属性決定システムにおいて、体型の異なる人物の撮影画像で検出した制御点の例を示す説明図である。
【図５】本発明のさらに他の実施の形態の属性決定システムの概略の構成を示すブロック図である。
【図６】正規分布曲線を示すグラフである。
【図７】上記属性決定システムでの属性認識方法による処理の流れを示すフローチャートである。
【図８】上記属性認識方法による処理を模式的に示す説明図である。
【発明を実施するための形態】
【００１９】
本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。
【００２０】
＜実施の形態１＞
〔属性決定システム〕
図１は、本実施形態の属性決定システム１の概略の構成を示すブロック図である。属性決定装置１は、画像取得部２と、属性決定装置３とを有して構成されている。画像取得部２と属性決定装置３とは、通信回線Ｎを介して通信可能に接続されている。通信回線Ｎは、例えばケーブル、光ファイバー、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット回線などから適宜選択されて構成される。以下、画像取得部２および属性決定装置３の詳細について説明する。
【００２１】
（画像取得部）
画像取得部２は、例えば店舗の天井または壁に設置され、店舗内の人物を上方から撮影して時間的に異なる各フレームの画像を取得するカメラ（撮像部）で構成されている。画像取得部２によって人物を上方から撮影することにより、人物の全身像を含む画像が取得される。画像取得部２を構成するカメラとしては、例えばＲＧＢカメラを用いることができる。ＲＧＢカメラは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応する画素を有し、各画素から受光量に応じた電気信号（画像データ）を出力する。ＲＧＢカメラでの撮影により、人物のカラー画像を取得することができる。
【００２２】
店舗内に設置される画像取得部２の台数は、特に限定されず、１台であってもよいし、２台以上であってもよい。少なくとも１台の画像取得部２で取得された画像のデータは、通信回線Ｎを介して属性決定装置３に出力される。
【００２３】
（属性決定装置）
属性決定装置３は、画像取得部２で取得されて該属性決定装置３に入力された画像、つまり、人物を上方から撮影した各フレームの画像に基づいて、人物の属性を決定する端末装置であり、例えばパーソナルコンピュータで構成されている。属性決定装置３は、画像取得部２が設置される店舗と同じ店舗内に設置されていてもよいし、店舗の外部に画像取得部２と通信可能に設置されていてもよい。
【００２４】
属性決定装置３は、入力部１１と、記憶部１２と、表示部１３と、通信部１４と、読取部１５と、位置検出部１６と、属性認識部１７と、制御部１８とを有して構成されている。
【００２５】
入力部１１は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、例えば属性決定装置３を操作する操作者による各種の指示入力を受け付ける。
【００２６】
記憶部１２は、属性決定装置３の各部を動作させるための動作プログラム、画像取得部２から入力された画像のデータ、位置検出部１６での検出結果、属性認識部認１７での属性の認識結果等を記憶するメモリである。この記憶部１２は、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。
【００２７】
表示部１３は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部１４は、外部と通信するための入出力ポートを含むインターフェースである。通信部１４は、外部と無線通信を行う場合、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。
【００２８】
読取部１５は、記録媒体Ｒに記録された情報（例えば制御部１８の動作プログラム）を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部１５に含まれるとする。
【００２９】
制御部１８は、属性決定装置３の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部１２に記憶された動作プログラムに従って動作する。
【００３０】
位置検出部１６は、画像取得部２にて取得され、属性決定装置３に入力された画像、つまり、人物を上方から撮影した画像から、人物の骨格を規定する点となる制御点の位置を検出する。なお、上記の「制御点」には、人物の関節点（骨と骨とを連接する可動性の結合部）、頭蓋骨の中心点、手足の指の骨の先端の点などが含まれる。
【００３１】
この位置検出部１６は、例えば制御部１８と同一のまたは別個のＣＰＵで構成される。なお、入力画像から人物の制御点（例えば関節点）の位置を検出する手法は、既存のソフトウェア（プログラム）で確立されている。したがって、上記ソフトウェアを読取部１５にて読み取り、読み取ったプログラムを位置検出部１６が実行することにより、人物を上方から撮影した画像から、人物の制御点の位置を検出することができる。
【００３２】
属性認識部１７は、位置検出部１６での検出結果（制御点の位置情報）を用いて、人物の属性を認識する。上記属性としては、例えば、人物の年齢、年齢層、性別、肥満度、被服、装着物、携帯物の少なくともいずれかを考えることができる。このような属性認識部１７は、例えばＧＰＵ（Graphics Processing Unit）で構成されている。ＧＰＵは、リアルタイムな画像処理に特化した演算装置である。
【００３３】
〔属性認識方法〕
次に、本実施形態の属性認識方法について説明する。なお、ここでは、例として、属性認識部１７が人物の属性として性別（男性／女性）を認識する場合について説明する。図２は、本実施形態の属性認識方法による処理の流れを示すフローチャートである。
【００３４】
まず、店舗に設置された画像取得部２にて、店舗内の人物を上方から撮影して複数フレーム分の画像（人物の全身像を含む画像）を取得する（Ｓ１；画像取得工程）。各フレームの画像のデータが属性決定装置３に入力されると、位置検出部１６は、各フレームの画像について、人物の骨格を規定する点となる制御点およびその位置を検出する（Ｓ２；位置検出工程）。図３は、１フレーム目の画像で検出した制御点、および２フレーム目の画像で検出した制御点の例を示している。なお、図中の黒丸が制御点を示す。
【００３５】
続いて、属性認識部１７は、位置検出部１６での検出結果を用いて、人物の属性を認識する（Ｓ３；属性認識工程）。具体的には、属性認識部１７は、制御点の位置の時系列の変動に基づいて属性を認識する。
【００３６】
例えば、図３において、人物の右手の指の先端を示す制御点をＰ1とし、右腕の肘を示す制御点（関節点）をＰ2とし、右肩を示す制御点をＰ3とする。１フレーム目の画像において、所定の位置を原点にとったときの各制御点の座標を、それぞれ、Ｐ1＝（ｘ11，ｙ11）、Ｐ2＝（ｘ21，ｙ21）、Ｐ3＝（ｘ31，ｙ31）とする。同様に、２フレーム目の画像において、上記原点に対する各制御点の座標を、それぞれ、Ｐ1＝（ｘ12，ｙ12）、Ｐ2＝（ｘ22，ｙ22）、Ｐ3＝（ｘ32，ｙ32）とする。１フレーム目と２フレーム目との間での各制御点Ｐ1〜Ｐ3の変動量を、それぞれ、ΔＰ1、ΔＰ2、ΔＰ3としたとき、ΔＰ1＝√｛（ｘ12−ｘ11）2＋（ｙ12−ｙ11）2｝、ΔＰ2＝√｛（ｘ22−ｘ21）2＋（ｙ22−ｙ21）2｝、ΔＰ3＝√｛（ｘ32−ｘ31）2＋（ｙ32−ｙ31）2｝で表される。
【００３７】
例えば、男性と女性とでは歩き方が異なり、男性の場合、歩行時に腕の振りが大きく、フレーム間での変動量ΔＰ1〜ΔＰ3が大きい傾向にある。一方、女性の場合、歩行時に腕の振りが小さく、フレーム間での変動量ΔＰ1〜ΔＰ3が小さい傾向にある。したがって、属性認識部１７は、制御点Ｐ1〜Ｐ3の位置の変動量ΔＰ1〜ΔＰ3と所定の閾値とを比較することにより、人物が男性であるか女性であるか、つまり、属性（性別）を認識することができる。
【００３８】
なお、歩行時の歩幅は、男性では大きく、女性では小さい傾向にある。したがって、制御点として脚の関節点（例えば膝）に着目すると、属性認識部１７は、脚の関節点の時系列の変動に基づいて属性としての性別を認識することもできる。つまり、属性認識部１７は、歩行時に男性または女性に特有の動きを示す関節点の時系列の変動に基づいて、属性としての性別を認識することができる。
【００３９】
属性認識部１７での認識結果（属性の判定結果）は、例えば表示部１３に表示される（Ｓ４；認識結果出力工程）。
【００４０】
以上のように、本実施形態では、位置検出部１６が、人物を上方から撮影した画像（人物の全身像を含む画像）から、人物の骨格を規定する点となる制御点の位置を検出する。そして、属性認識部１７が、位置検出部１６での検出結果、つまり、制御点の位置情報を用いて、人物の属性を認識する。制御点の位置情報を用いることにより、人物の顔画像を全く用いることなく属性認識を行うことができる。これにより、顔の撮影によってユーザ（店舗内の人物）に心理的負担を与えることを回避することができる。
【００４１】
また、人物の姿勢がどのように変化しても、つまり、姿勢の変化によって制御点の位置がどのように変化しても、その制御点の位置を位置検出部１６が検出して、属性認識部１７が人物の属性を認識する。したがって、人物の姿勢の変化にも容易に対応した、汎用性の高い属性認識が可能となる。
【００４２】
さらに、属性認識部１７は、位置検出部１６での検出結果を用いて人物の属性を認識するため、どのような人物についても、その人物の制御点の位置情報に基づいて属性を認識することができる。また、制御点の位置情報に基づいて属性を認識することで、制御点に関係のない領域、つまり、人物の属性認識に不要な領域（例えば背景領域）が、属性認識に影響を与えることもない。したがって、様々な人物について属性認識を高精度で行うことができる。
【００４３】
特に、本実施形態では、属性認識部１７は、制御点の位置の時系列の変動に基づいて、人物の歩き方を認識することができる。したがって、その認識結果（歩き方）に基づいて、人物の属性としての性別（男性／女性）を認識することができる。
【００４４】
また、本実施形態では、画像取得部２として、ＲＧＢカメラを用いている。比較的容易に入手可能なＲＧＢカメラを用いることにより、本実施形態の属性決定システム１を容易に実現することができる。なお、後述する実施の形態３では、入力画像からニューラルネットワークによって特徴量を抽出し、抽出した特徴量に基づいて属性を認識するが、入力画像としてカラー画像を用いると、特徴量を精度よく抽出することができる。この点では、ＲＧＢカメラは実施の形態３の構成にも非常に好適であると言える。
【００４５】
ところで、画像取得部２として、サーマルカメラを用いてもよいし、デプスカメラを用いてもよい。また、ＲＧＢカメラとサーマルカメラまたはデプスカメラとを併用してもよい。サーマルカメラは、物体から放射される熱（赤外線放射エネルギー）を検出して温度に変換し、その温度分布を画像表示するカメラである。デプスカメラは、奥行きの情報を取得する深度センサーを内蔵したカメラである。サーマルカメラまたはデプスカメラを用いることにより、位置検出部１６は、カメラ画像から、温度分布または奥行情報を利用して人物の制御点の位置を精度よく検出することができる。このため、属性認識部１７による属性の認識精度の向上が期待できる。
【００４６】
また、画像取得部２として、赤外線カメラを用いてもよいし、モノクロカメラを用いてもよい。このとき、ＲＧＢカメラと赤外線カメラまたはモノクロカメラとを併用してもよい。赤外線カメラは、赤外線（近赤外線）を放射し、物体での赤外線の反射を捉えることで画像を取得するカメラである。モノクロカメラは、撮影によりモノクロ（白黒）の画像を取得するカメラである。赤外線カメラおよびモノクロカメラは、夜間でも人物を撮影して明瞭な画像を取得できるため、そのような暗環境で取得された画像に基づく属性認識に非常に有効となる。
【００４７】
なお、本実施形態では、属性認識部１７が人物の属性として性別を認識する例について説明したが、本実施形態と同様の考え方に基づいて、性別以外の属性（例えば年齢層（大人／子供、老人／中年／若者））を認識することも可能である。
【００４８】
なお、本実施形態では、属性決定装置３が画像取得部２から画像データを取得して、属性認識を行う例について説明したが、例えば通信回線を介して他の端末装置から送信される画像データを用いて属性認識を行ってもよい。また、記録媒体Ｒに記録された画像のデータを属性決定装置３が読み取って属性認識を行うようにしてもよい。
【００４９】
＜実施の形態２＞
本実施形態では、実施の形態１で説明したＳ３の属性認識工程において、属性認識部１７は、複数の制御点の位置関係に基づいて、人物の属性を認識する。ここでは、例として、属性認識部１７が人物の属性として肥満度を認識する場合について説明する。
【００５０】
例えば、図４は、やせ型の人物を撮影した画像で検出した制御点、および肥満体型の人物を撮影した画像で検出した制御点の例を示している。なお、図中の黒丸が制御点を示す。各制御点の位置は、複数フレームにわたって人物が静止状態またはそれに近い状態である（各制御点の連続フレーム間での変動量が閾値以下である）場合の、複数フレーム間での平均の位置とする（人物が歩行状態ではないとする）。
【００５１】
図４で示す各制御点の位置から、やせ型の人物と肥満体型の人物とでは、肩、肘、手指の先端、股関節、膝の相互の位置関係が互いに異なることがわかる。特に、股関節と手指の先端との距離は、やせ型の人物と肥満体型の人物とで大きく異なることがわかる。
【００５２】
そこで、属性認識部１７は、複数の制御点（例えば股関節と手指の先端）の位置座標からこれらの制御点の位置関係を認識する。例えば、属性認識部１７は、股関節と手指の先端との距離を各制御点の位置座標から求める。そして、属性認識部１７は、上記距離が所定範囲よりも大きい場合には、人物は肥満体型であり、上記距離が所定範囲内である場合には、人物は標準体型であり、上記距離が所定範囲よりも小さい場合には、人物はやせ型であると認識する。
【００５３】
このように、属性認識部１７は、複数の制御点の位置関係に基づいて、人物の体型を認識することができる。これにより、人物の属性として、肥満度（肥満体型／標準体型／やせ型）を認識することが可能となる。
【００５４】
なお、属性認識部１７が複数の制御点の位置関係に基づいて認識できる属性は、本実施形態の肥満度には限定されない。本実施形態と同様の考え方に基づき、属性認識部１７は、例えば性別（男性／女性）、年齢層（大人／子供、老人／中年／若者）など、肥満度以外の属性を認識することも可能である。
【００５５】
＜実施の形態３＞
図５は、本実施形態の属性認識システム１の概略の構成を示すブロック図である。本実施形態の属性認識システム１は、属性決定装置３の属性認識部１７を、属性認識部１７’に置き換えた以外は、実施の形態１と同様の構成である。以下、実施の形態１と異なる点について説明する。
【００５６】
属性認識部１７’は、属性認識部１７と同様に、位置検出部１６での検出結果を用いて、人物の属性を認識する。この属性認識部１７’は、特徴量抽出器１７ａ、特徴量変換器１７ｂおよび識別器１７ｃとしての機能を有するＧＰＵで構成されている。特に、特徴量抽出器１７ａおよび識別器１７ｃの機能は、深層学習（ディープラーニング）が可能なディープニューラルネットワーク（ＤＮＮ）によって実現される。
【００５７】
特徴量抽出器１７ａは、人物を上方から撮影した画像から、属性を認識するための特徴量を抽出してｎ次元（ｎは自然数）の特徴マップを生成する。特徴量変換器１７ｂは、上記の特徴マップに対してマスク処理を行う。より詳しくは、特徴量変換器１７ｂは、上記画像中の制御点から離れる位置ほど特徴量の低下度合いが大きくなるマスクを特徴マップにかけることにより、上記マスク処理を行う。ここで、上記のマスクは、特徴量の低下度合いが制御点を頂上とする正規分布となるように変化する重み（ウェイト）を有する。識別器１７ｃは、マスク処理後の特徴マップに基づいて、属性を識別する。
【００５８】
図６は、正規分布曲線を示すグラフである。なお、正規分布曲線の式ｆ（ｘ）において、μは平均を示し、σは標準偏差を示す。上記のマスクの重みＭは、図６のｆ（ｘ）に相当する。ただし、０≦Ｍ≦１であり、制御点の位置で最大（Ｍ＝１）である。画像中の位置（ｘ，ｙ）におけるｎ次元目の特徴量をｆｎ（ｘ，ｙ）とし、その特徴量に乗算するマスクの重みをＭ（ｘ，ｙ）としたとき、特徴量変換器１７ｂによってマスク処理を行うと、マスク処理後の特徴量、つまり、属性を認識するための特徴量Ｇｎ（ｘ，ｙ）は、以下の式で表される。
Ｇｎ（ｘ，ｙ）＝ｆｎ（ｘ，ｙ）×Ｍ（ｘ，ｙ）
【００５９】
次に、本実施形態の属性認識方法について説明する。図７は、本実施形態の属性認識方法による処理の流れを示すフローチャートである。また、図８は、本実施形態の属性認識方法による処理を模式的に示す説明図である。なお、特徴量抽出器１７ａおよび識別器１７ｃは、教師あり学習によって予め学習されているとする（ニューラルネットワークを構成する各ノードのパラメータが適切に設定（更新）されているとする）。
【００６０】
まず、店舗に設置された画像取得部２にて、店舗内の人物を上方から撮影して画像（例えば１フレーム目）が取得される（Ｓ１；画像取得工程）。１フレーム目の画像のデータが属性決定装置３に入力されると、位置検出部１６は、上記画像について制御点およびその位置を検出する（Ｓ２；位置検出工程）。
【００６１】
次に、位置検出部１６は、Ｓ２で検出された制御点の位置から、人物の頭部、胴体部、腕、脚などの領域を認識し、これらの領域を含む人物矩形を設定し、Ｓ１で取得した撮影画像から人物矩形内の画像を抽出する（Ｓ２−１；人物矩形画像抽出工程）。なお、Ｓ２−１の工程は必須ではなく、省略することも可能である。
【００６２】
続いて、属性認識部１７’は、Ｓ２−１で取得した人物矩形画像またはＳ１で取得した撮影画像と、位置検出部１６での検出結果とに基づいて、人物の属性を認識する（Ｓ３；属性認識工程）。
【００６３】
具体的には、まず、特徴量抽出器１７ａが入力画像（人物矩形画像または撮影画像）から特徴量を抽出し、抽出した特徴量の分布である特徴マップを生成する（Ｓ３１；特徴量抽出工程）。上記特徴マップは、色情報、エッジ情報などの特徴量の種類に応じてｎ次元分生成される。
【００６４】
次に、特徴量変換器１７ｂは、上記のｎ次元分の特徴マップに対して上述したマスクをかけてマスク処理を行い、制御点から離れた位置ほど特徴量を低下させる（Ｓ３２；特徴量変換工程）。この処理により、例えば画像中で人物以外の背景部分（商品棚の商品も含む）の特徴量が低下する。その後、識別器１７ｃは、マスク処理後の特徴マップに基づいて、人物の属性を識別する（Ｓ３３；識別工程）。
【００６５】
属性認識部１７’での認識結果（識別器１７ｃでの属性の識別結果）は、例えば表示部１３に表示される（Ｓ４；認識結果出力工程）。そして、次の撮影画像についても処理を継続する場合は、Ｓ１以降の工程を繰り返し、次の撮影画像について処理を行わない場合は、一連の処理を終了する（Ｓ５）。
【００６６】
人物を上方から撮影した画像において、制御点から離れた領域ほど、人物とは関係のない領域（例えば背景領域などの、人物の属性を現しているとは考えにくい領域）である可能性が高い。特徴量変換器１７ｂは、特徴マップに対してマスク処理を行って、制御点から離れた、人物とは関係のない領域の特徴量を低下させ、識別器１７ｃは、マスク処理後の特徴マップに基づいて属性を識別する。これにより、人物とは関係のない領域の特徴量の、属性認識への影響を低減することができ、人物の属性を精度よく識別（認識）することが可能となる。
【００６７】
また、マスク処理に用いるマスクは、特徴量の低下度合いが制御点を頂上とする正規分布となるように変化する重みを有する。特徴量変換器１７ｂが上記マスクを用いてマスク処理を行うことにより、特徴マップに対して、制御点から離れた領域ほど特徴量を確実に低下させることができる。これにより、人物とは関係のない領域の特徴量の、属性認識への影響を確実に低減して、属性認識の精度を確実に向上させることができる。
【００６８】
また、本実施形態では、人物とは関係のない領域の特徴量を削減して得た識別結果を新たに正解ラベルとして用いて、特徴量抽出器１７ａおよび識別器１７ｃを学習させることができる。これにより、未知の店舗内での撮影によって取得された画像をもとに人物の属性を認識する場合でも、認識性能を向上させることができ、汎化性を向上させることができる。
【００６９】
ところで、マスクの重みの分布である正規分布の標準偏差σは、人物の骨格中での制御点の位置に応じて異なるようにしてもよい。例えば、制御点が人物の手指の骨の先端の点であれば、その点を頂上とする正規分布の標準偏差σを小さくし、制御点が人物の頭蓋骨の中心点であれば、その中心点を頂上とする正規分布の標準偏差σを大きくしてもよい。
【００７０】
このように正規分布の標準偏差σを設定することにより、特徴マップにおいて、マスク処理によって特徴量を保持しようとする領域（人物と関係する領域）の範囲を、人物骨格の位置に応じて適切に調整することができる。つまり、人物の頭部については広い範囲で特徴量を保持し、手指については狭い範囲で特徴量を保持することができる。これにより、識別器１７ｃは、マスク処理後の特徴マップに基づいて、人物の形状を表す領域の特徴量のみに基づいて人物の属性を識別することが可能となり、人物の属性の識別精度を向上させることができる。
【００７１】
また、マスクの重みの分布である正規分布の標準偏差σは、識別器１７ｃが識別する属性に応じて異なるようにしてもよい。例えば、人物の属性として携帯物（例えばペット、手提げかばん、拳銃など）を識別する場合、人物の手指の骨の先端の点を頂上とする正規分布の標準偏差σを大きくしてもよい。また、人物の属性として性別を識別する場合、人物の指の骨の先端の点を頂上とする正規分布の標準偏差σを小さくしてもよい。
【００７２】
このように識別する属性に応じて正規分布の標準偏差σを異ならせることにより、特徴量変換器１７ｂは、特徴マップに対するマスク処理によって特徴量を保持する範囲を、識別対象の属性に応じて適切に調整することができる。その結果、識別器１７ｃは、上記属性を適切に識別することが可能となる。例えば属性として人物が携帯物を所持しているか否かを識別する場合には、マスク処理により、人物の手指よりも広い範囲の特徴量が保持されるため、識別器１７ｃは上記特徴量に基づいて携帯物を適切に識別することができる。一方、属性として人物の性別等、携帯物以外の属性を識別する場合には、マスク処理により、人物の手指の領域の特徴量が保持されるため、識別器１７ｃは上記特徴量に基づいて携帯物以外の属性を適切に識別することができる。
【００７３】
＜プログラムおよび記録媒体＞
以上の各実施の形態で説明した属性決定装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部１８）が読み取って実行することにより、属性決定装置３の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部１２に記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体に記録され、この記録媒体から上記プログラムをコンピュータが読み取って記憶部１２に記憶する形態であってもよい。
【００７４】
＜補足＞
以上で説明した本実施形態の属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体は、以下のように表現することもできる。
【００７５】
１．人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出部と、
前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識部とを備えていることを特徴とする属性決定装置。
【００７６】
２．前記属性認識部は、前記制御点の位置の時系列の変動に基づいて、前記属性を認識することを特徴とする前記１に記載の属性決定装置。
【００７７】
３．前記属性認識部は、複数の前記制御点の位置関係に基づいて、前記属性を認識することを特徴とする前記１に記載の属性決定装置。
【００７８】
４．前記属性認識部は、
前記画像から前記属性を認識するための特徴量を抽出して特徴マップを生成する特徴量抽出器と、
前記特徴マップに対してマスク処理を行う特徴量変換器と、
前記マスク処理後の特徴マップに基づいて、前記属性を識別する識別器とを含み、
前記特徴量変換器は、前記制御点から離れる位置ほど前記特徴量の低下度合いが大きくなるマスクを前記特徴マップにかけることにより、前記マスク処理を行うことを特徴とする前記１に記載の属性決定装置。
【００７９】
５．前記マスクは、前記特徴量の低下度合いが前記制御点を頂上とする正規分布となるように変化する重みを有することを特徴とする前記４に記載の属性決定装置。
【００８０】
６．前記正規分布の標準偏差は、前記人物の骨格中での前記制御点の位置に応じて異なることを特徴とする前記５に記載の属性決定装置。
【００８１】
７．前記正規分布の標準偏差は、前記識別器が識別する前記属性に応じて異なることを特徴とする前記５または６に記載の属性決定装置。
【００８２】
８．前記人物の属性は、前記人物の年齢、年齢層、性別、肥満度、被服、装着物、携帯物の少なくともいずれかであることを特徴とする前記１から７のいずれかに記載の属性決定装置。
【００８３】
９．前記１から８のいずれかに記載の属性決定装置と、
人物を上方から撮影して前記画像を取得し、前記画像のデータを前記属性決定装置に出力する画像取得部とを備えていることを特徴とする属性決定システム。
【００８４】
１０．前記画像取得部は、ＲＧＢカメラを含むことを特徴とする前記９に記載の属性決定システム。
【００８５】
１１．前記画像取得部は、サーマルカメラまたはデプスカメラを含むことを特徴とする前記９または１０に記載の属性決定システム。
【００８６】
１２．前記画像取得部は、赤外線カメラまたはモノクロカメラを含むことを特徴とする前記９から１１のいずれかに記載の属性決定システム。
【００８７】
１３．人物を上方から撮影した画像から、前記人物の骨格を規定する点となる制御点の位置を検出する位置検出工程と、
前記位置検出部での検出結果を用いて、前記人物の属性を認識する属性認識工程とを含むことを特徴とする属性決定方法。
【００８８】
１４．前記属性認識工程では、前記制御点の位置の時系列の変動に基づいて、前記属性を認識することを特徴とする前記１３に記載の属性決定方法。
【００８９】
１５．前記属性認識工程では、複数の前記制御点の位置関係に基づいて、前記属性を認識することを特徴とする前記１３に記載の属性決定方法。
【００９０】
１６．前記属性認識工程は、
前記画像から前記属性を認識するための特徴量を抽出して特徴マップを生成する特徴量抽出工程と、
前記特徴マップに対してマスク処理を行う特徴量変換工程と、
前記マスク処理後の特徴マップに基づいて、前記属性を識別する識別工程とを含み、
前記特徴量変換工程では、前記制御点から離れる位置ほど前記特徴量の低下度合いが大きくなるマスクを前記特徴マップにかけることにより、前記マスク処理を行うことを特徴とする前記１３に記載の属性決定方法。
【００９１】
１７．前記１３から１６のいずれかに記載の属性決定方法をコンピュータに実行させるためのプログラム。
【００９２】
１８．前記１７に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【００９３】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【００９４】
本発明は、人物を上方から撮影した画像に基づいて、人物の属性を決定する装置に利用可能である。
【符号の説明】
【００９５】
１      属性決定システム
２      画像取得部
３      属性決定装置
１６      位置検出部
１７      属性認識部
１７’    属性認識部
１７ａ    特徴量抽出器
１７ｂ    特徴量変換器
１７ｃ    識別器
【図１】
2020098474.tif 000003
【図２】
2020098474.tif 000004
【図３】
2020098474.tif 000005
【図４】
2020098474.tif 000006
【図５】
2020098474.tif 000007
【図６】
2020098474.tif 000008
【図７】
2020098474.tif 000009
【図８】
2020098474.tif 000010