(57)【要約】  教師データ記憶手段８１は、複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、その画像の群衆状態を示すラベルである群衆状態ラベルと、群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する。学習手段８２は、認識対象の画像から群衆状態を認識する識別器を学習する。また、学習手段８２は、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を、教師データ記憶手段８１に記憶されている教師データを用いて学習する。
2018216648.tif 000002
【特許請求の範囲】
【請求項１】
複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する教師データ記憶手段と、
認識対象の画像から前記群衆状態を認識する識別器を学習する学習手段とを備え、
前記学習手段は、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を、前記教師データ記憶手段に記憶されている教師データを用いて学習する
ことを特徴とする群衆状態認識装置。
【請求項２】
識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する
請求項１記載の群衆状態認識装置。
【請求項３】
画像から群衆状態を認識する識別器で用いられる辞書として、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書を記憶する辞書記憶手段と、
認識対象の画像を入力とし群衆状態および群衆位置を出力とする前記辞書記憶手段に記憶される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識手段とを備えた
ことを特徴とする群衆状態認識装置。
【請求項４】
ネットワーク選択情報を記憶するネットワーク選択情報記憶手段を備え、
群衆状態認識手段は、前記ネットワーク選択情報記憶手段に記憶される情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識する
請求項３記載の群衆状態認識装置。
【請求項５】
識別器は、複数種類の群衆位置を出力とし、当該複数種類出力される群衆位置に対して独立に構成される独立ネットワークを有する
請求項２から請求項４のうちのいずれか１項に記載の群衆状態認識装置。
【請求項６】
群衆状態画像を生成する生成指示に基づいて、背景画像の情報、人物画像の情報および当該人物画像中で人物が撮像されている領域である人物領域画像の情報から、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを、識別器の学習に用いる教師データとして生成する教師データ生成手段を備えた
請求項１から請求項５のうちのいずれか１項に記載の群衆状態認識装置。
【請求項７】
教師データ生成手段は、生成指示に基づいて群衆状態ラベルを生成し、生成指示および人物領域画像の情報に基づいて群衆位置ラベルを生成する
請求項６記載の群衆状態認識装置。
【請求項８】
人物領域画像の情報は、人物領域画像および当該人物領域画像上の人物の位置情報を含み、当該人物の位置情報は、人物の中心位置、人物を囲む矩形、頭部の中心位置、および、頭部を囲む矩形の少なくとも１つ以上を含む
請求項６または請求項７記載の群衆状態認識装置。
【請求項９】
教師データ生成手段は、生成指示および人物領域画像に基づいて、前記群衆状態の画像に対して複数の人の人物領域で構成された群衆領域の画像を生成し、生成された群衆領域の画像を予め定められたＮ×Ｎ等分に分割して、分割された領域ごとの平均輝度を算出し、算出されたＮ×Ｎ次元の輝度値を群衆位置ラベルとする
請求項６または請求項７記載の群衆状態認識装置。
【請求項１０】
教師データ生成手段は、生成指示、人物領域画像および当該人物領域画像に付加された頭部矩形を示す情報に基づいて、群衆状態の画像に対して複数の人の頭部領域で構成された群衆領域の画像を生成し、生成された群衆領域の画像を予め定められたＮ×Ｎ等分に分割して、分割された領域ごとの平均輝度を算出し、算出されたＮ×Ｎ次元の輝度値を群衆位置ラベルとする
請求項６または請求項７記載の群衆状態認識装置。
【請求項１１】
認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習する学習方法であって、
前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習する
ことを特徴とする学習方法。
【請求項１２】
識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する
請求項１１記載の学習方法。
【請求項１３】
認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する
ことを特徴とする群衆状態認識方法。
【請求項１４】
ネットワーク選択情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識する
請求項１３記載の群衆状態認識方法。
【請求項１５】
認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習するコンピュータに適用される学習プログラムであって、
前記コンピュータに、
前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習する学習処理
を実行させるための学習プログラム。
【請求項１６】
識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する
請求項１５記載の学習プログラム。
【請求項１７】
コンピュータに、
認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識処理
を実行させるための群衆状態認識用プログラム。
【請求項１８】
コンピュータに、
群衆状態認識処理で、ネットワーク選択情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択させ、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識させる
請求項１７記載の群衆状態認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、群衆状態認識装置、学習方法および学習プログラムに関し、特に、混雑環境下において、画像から複数の人で構成される群衆の状態を頑健に認識できる群衆状態認識装置、並びに群衆状態の学習方法および学習プログラムに関する。
【背景技術】
【０００２】
画像から群衆状態を認識する方法が、例えば、特許文献１に記載されている。ここで、群衆状態を示す情報として、例えば、人数、群衆の方向、異常群衆、秩序性等が挙げられる。特許文献１に記載された方法では、予め設定された指示に基づいて画像を合成することにより、学習に必要な教師データとして、部分領域で示される、人同士の重なりを含む群衆状態画像と群衆状態を示すラベルとを生成する。そして、生成された教師データによって群衆状態を認識する識別器を学習し、学習された識別器を用いて画像中の各部分領域内の群衆状態を混雑環境下で頑健に認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／２０７９９１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された方法の場合、学習で得られた群衆状態を認識する識別器が最適に学習されていない場合があるため、群衆状態を認識する識別器の認識精度が最大にならない場合が存在する。群衆状態は複数の人で構成されるため、群衆状態の学習に用いられる画像パターンは複雑であり、バリエーションも多い。しかし、特許文献１に記載された方法では、群衆状態画像と人数ラベルという少ない種類の情報のみで学習を行っているため、認識精度を向上させるには限界があるためである。【０００５】
そこで、本発明は、複数の人で構成される群衆の状態を認識する精度を向上できる群衆状態認識装置、並びに、群衆状態の学習方法および学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による群衆状態認識装置は、複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、その画像の群衆状態を示すラベルである群衆状態ラベルと、群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する教師データ記憶手段と、認識対象の画像から群衆状態を認識する識別器を学習する学習手段とを備え、学習手段が、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を、教師データ記憶手段に記憶されている教師データを用いて学習することを特徴とする。【０００７】
本発明による他の群衆状態認識装置は、画像から群衆状態を認識する識別器で用いられる辞書として、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書を記憶する辞書記憶手段と、認識対象の画像を入力とし群衆状態および群衆位置を出力とする辞書記憶手段に記憶される辞書に基づく識別器であって、ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識手段とを備えたことを特徴とする。【０００８】
本発明による学習方法は、認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習する学習方法であって、群衆状態が撮像された画像である群衆状態画像と、その画像の群衆状態を示すラベルである群衆状態ラベルと、群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を学習することを特徴とする。【０００９】
本発明による学習プログラムは、認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習するコンピュータに適用される学習プログラムであって、コンピュータに、群衆状態が撮像された画像である群衆状態画像と、その画像の群衆状態を示すラベルである群衆状態ラベルと、群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を学習する学習処理を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の人で構成される群衆の状態を認識する精度を向上できる。
【図面の簡単な説明】
【００１１】
【図１】本発明による群衆状態認識装置の第１の実施形態の構成例を示すブロック図である。
【図２】本発明による群衆状態認識装置の第１の実施形態の構成例を示すブロック図である。
【図３】群衆状態画像および群衆状態ラベルの具体例を示す説明図である。
【図４】群衆状態画像および群衆状態ラベルの具体例を示す説明図である。
【図５】群衆状態画像および群衆状態ラベルの具体例を示す説明図である。
【図６】群衆状態画像および群衆状態ラベルの具体例を示す説明図である。
【図７】群衆位置ラベルを生成する方法の例を示す説明図である。
【図８】群衆位置ラベルを生成する方法の例を示す説明図である。
【図９】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１０】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１１】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１２】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１３】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１４】群衆位置ラベルを生成する方法の例を示す説明図である。
【図１５】群衆状態の認識に用いられる識別器の例を示す説明図である。
【図１６】群衆状態の認識に用いられる識別器の他の例を示す説明図である。
【図１７】第１の実施形態の群衆状態認識装置の動作例を示すフローチャートである。
【図１８】第１の実施形態の群衆状態認識装置の動作例を示すフローチャートである。
【図１９】本発明による群衆状態認識装置の第２の実施形態の構成例を示すブロック図である。
【図２０】本発明による群衆状態認識装置の第２の実施形態の構成例を示すブロック図である。
【図２１】本発明による群衆状態認識装置の概要を示すブロック図である。
【図２２】本発明による群衆状態認識装置の概要を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１３】
実施形態１．
図１および図２は、本発明による群衆状態認識装置の構成例を示すブロック図である。図１および図２は、第１の実施形態の群衆状態認識装置のそれぞれ一部の構成例を示す。なお、図１および図２に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【００１４】
図１に例示する構成は、画像から複数の人で構成される群衆の状態（群衆状態）を認識するための教師データを学習する機能を有する。そのため、図１に例示する構成を有する装置を、教師データ学習装置と言うことができる。また、図２に例示する構成は、学習によって得られた辞書に基づく識別器を用いて、画像から群衆状態を認識する機能を有する。
【００１５】
図１に例示する群衆状態認識装置は、プログラム制御により動作するデータ処理装置１と、情報を記憶する記憶装置２とを含む。なお、データ処理装置１の内容については後述される。記憶装置２は、背景画像記憶手段２１と、人物画像記憶手段２２と、人物位置情報記憶手段２３と、生成指示記憶手段２４と、教師データ記憶手段２５と、辞書記憶手段２６とを含む。
【００１６】
記憶装置２（より具体的には、背景画像記憶手段２１と、人物画像記憶手段２２と、人物位置情報記憶手段２３と、生成指示記憶手段２４と、教師データ記憶手段２５と、辞書記憶手段２６）は、例えば、磁気ディスク等により実現される。
【００１７】
背景画像記憶手段２１は、人物を含まない背景となる画像（背景画像）の集まりを背景画像群として記憶する。
【００１８】
人物画像記憶手段２２は、人物の方向、人物の撮影角度（俯角）、人物への照明、人物の姿勢、服装・体型・髪型、などの属性情報を付加した人物画像の集まりを人物画像群として記憶する。なお、ここでの人物画像は、１人の人物を対象としている。
【００１９】
人物位置情報記憶手段２３は、人物画像記憶手段２２に記憶されている人物画像に対応した人物領域の画像（人物領域画像）の集まりを人物領域画像群として記憶する。すなわち、人物領域の画像は、人物画像中で人物が撮影された領域の画像である。人物領域には、画像上の人物の位置情報が付加されている。人物の位置情報は、例えば、人物の中心位置や人物を囲む矩形、頭部の中心位置や頭部を囲む矩形、などである。また、人物の位置情報は、人物領域画像に基づいて自動的に求められてもよい。
【００２０】
生成指示記憶手段２４は、上述する背景画像の情報、人物画像の情報および人物領域画像の情報から、複数の人で構成される群衆状態の画像（群衆状態画像）を生成する指示を記憶する。この生成指示は、例えば、画像の生成における、人物同士の配置や、人物同士の方向、人数や、人物画像の選定における人物の属性情報や、生成における人物画像のサイズ、などを含む。この指示に基づいて生成される群衆状態画像は、後述する学習手段の教師データになることから、この生成指示は、教師データの生成内容を含む指示とも言える。
【００２１】
教師データ記憶手段２５は、教師データ生成手段１１によって生成された教師データを記憶する。教師データは、複数の人で構成される群衆状態が撮像された画像（群衆状態画像）、その画像の群衆状態を示すラベル（群衆状態ラベル）、および、群衆状態画像に含まれる複数の人（群衆）の位置を特定可能な情報を示すラベル（群衆位置ラベル）を含む。
【００２２】
なお、群衆位置ラベルの具体例は、後述する教師データ生成手段１１の説明において示される。ただし、教師データ記憶手段２５に記憶される教師データは、教師データ生成手段１１によって生成された教師データに限定されず、手動で集められて記憶される教師データであってもよい。
【００２３】
辞書記憶手段２６は、学習手段１２による学習から得られた識別器の辞書を記憶する。本実施形態では、ニューラルネットワークでの学習を想定しているため、この辞書は、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスである。
【００２４】
データ処理装置１は、教師データ生成手段１１と、学習手段１２とを含む。教師データ生成手段１１は、群衆状態画像の生成指示に基づいて、背景画像の情報と、人物画像の情報と、人物領域画像の情報とから、学習に対して基本的な教師データである群衆状態の画像と、その画像の群衆状態を示すラベル（群衆状態ラベル）とを生成する。ここで、人物画像の情報は、具体的には、人物画像および付加情報である。また、人物領域画像の情報は、具体的には、人物領域画像および付加情報である。さらに、本実施形態の教師データ生成手段１１は、間接的な教師データとして、群衆状態の画像に対して複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）を生成する。
【００２５】
具体的には、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている生成指示に基づいて、背景画像記憶手段２１に記憶されている背景画像の情報と、人物画像記憶手段２２に記憶されている人物画像の情報と、人物位置情報記憶手段２３に記憶されている人物領域画像の情報とから、背景画像と人物画像と人物領域画像とを選択および加工して、複数の人で構成される群衆状態の画像を生成する。なお、教師データ生成手段１１が、生成指示に基づいて群衆状態の画像を生成する方法は任意である。
【００２６】
さらに、教師データ生成手段１１は、群衆状態画像の生成指示に基づき、群衆状態画像の群衆状態を示すラベル（群衆状態ラベル）を生成する。以下、図３から図６に例示する具体例を用いて、群衆状態ラベルを生成する方法を説明する。図３から図６は、群衆状態画像および群衆状態ラベルの具体例を示す説明図である。
【００２７】
例えば、図３に示すように、教師データ生成手段１１が、０人から３人の人数を指定した生成指示により群衆状態画像を生成したとする。この場合、指定された人数（例えば、「０人」，「３人」など）がそのまま群衆状態を示すラベルになる。つまり、教師データ生成手段１１は、群衆状態画像を生成する指示の一部を選択して群衆状態を示すラベルとする。このようなラベルを教師データとして生成することで、例えば、図３に例示する画像Ｉ１から群衆を認識する際に、その群衆状態を表す人数も併せて特定することが可能になる。
【００２８】
同様に、図４に示すように、教師データ生成手段１１が、人の向いている方向（方向１から方向４）を指定した生成指示により群衆状態画像を生成したとする。ここで、方向１は画像の上方向、方向２は画像の左方向、方向３は画像の下方向、方向４は画像の右方向とする。この場合、指定された方向（例えば、「方向１」，「方向４」など）がそのまま群衆状態を示すラベルになる。つまり、教師データ生成手段１１は、この場合も、群衆状態画像を生成する指示の一部を選択して群衆状態を示すラベルとする。このようなラベルを教師データとして生成することで、例えば、図４に例示する画像Ｉ２から群衆を認識する際に、その群衆状態の向いている方向や移動方向も併せて特定することが可能になる。
【００２９】
他にも、教師データ生成手段１１は、指示の内容に基づいて変換したラベルを生成してもよい。例えば、図５に示すように、教師データ生成手段１１が、人数の閾値ｎを指定した生成指示により群衆状態画像を生成したとする。この場合、教師データ生成手段１１が、閾値ｎ以上の人が含まれている群衆状態画像のラベルを「異常群衆」とし、閾値ｎ未満の人が含まれている群衆状態画像のラベルを「非異常群衆」としてもよい。このようなラベルを教師データとして生成することで、例えば、図５に例示する画像Ｉ３から群衆を認識する際に、その群衆が異常状態か非異常状態かを併せて特定することが可能になる。
【００３０】
同様に、図６に示すように、教師データ生成手段１１が、人の向いている方向の秩序の有無を指定した生成指示により群衆状態画像を生成したとする。この場合、指定された秩序の有無が、群衆状態を示すラベルになる。教師データ生成手段１１は、例えば、方向の無秩序性を有する群衆状態画像に「人物同士の方向を不統一」というラベルを付与し、方向の秩序性を有する群衆状態画像に「人物同士の方向を統一」というラベルを付与してもよい。このようなラベルを教師データとして生成することで、例えば、図６に例示する画像Ｉ４から群衆を認識する際に、その画像に含まれる群衆のうち、どの群衆に方向的な秩序性があるかを併せて特定することが可能になる。
【００３１】
群衆状態ラベルを生成した後、教師データ生成手段１１は、群衆状態画像の生成指示と、人物位置情報記憶手段２３に記憶されている人物領域画像の情報とから、群衆状態画像に対し、複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）を生成する。そして、教師データ生成手段１１は、生成された群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを教師データとして教師データ記憶手段２５に記憶する。
【００３２】
以下、群衆位置ラベルを生成する方法の具体例を説明する。図７から図１４は、群衆位置ラベルを生成する方法の例を示す説明図である。図７、図８および図９に例示する方法は、Ｎ×Ｎ次元の群衆位置ラベルを生成する方法の具体例である。
【００３３】
図７に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像とに基づき、群衆状態画像Ｉ１１に対して、複数の人の人物領域Ｒ１１で構成された群衆領域の画像（群衆領域画像）Ｉ２１を生成してもよい。この場合、教師データ生成手段１１は、生成された画像を予め定められたＮ×Ｎ等分に分割して、分割した領域毎に平均輝度を求めて量子化画像Ｉ３１を生成する。そして、教師データ生成手段１１は、量子化画像Ｉ３１からＮ×Ｎ次元の輝度値（図７に例示する２５０や１０、など）を取得し、その値を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。なお、教師データ生成手段１１は、量子化画像を生成する際、平均輝度を用いる代わりにＭａｘ輝度などを用いてもよい。
【００３４】
また、図８に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像と人物領域画像に付加された頭部矩形とに基づき、群衆状態画像Ｉ１２に対して、複数の人の頭部領域Ｒ１２で構成された群衆領域の画像（群衆領域画像）Ｉ２２を生成してもよい。この場合、教師データ生成手段１１は、生成された画像を予め定められたＮ×Ｎ等分に分割して、分割した領域毎に平均輝度を求めて量子化画像Ｉ３２を生成する。そして、教師データ生成手段１１は、量子化画像Ｉ３２からＮ×Ｎ次元の輝度値を取得し、その値を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。教師データ生成手段１１は、量子化画像を生成する際、平均輝度を用いる代わりにＭａｘ輝度などを用いてもよい。
【００３５】
また、図９に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像に付加された頭部位置とに基づき、群衆状態画像Ｉ１３に対する頭部位置Ｐ１３を算出してもよい。この場合、教師データ生成手段１１は、群衆状態画像Ｉ１３を予め定められたＮ×Ｎ等分に分割して、分割した領域に存在する頭部位置Ｐ１３の数をカウントする。そして、教師データ生成手段１１は、カウント結果から、Ｎ×Ｎ次元のカウント値を取得し、その値を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００３６】
図１０、図１１および図１２に例示する方法は、２次元の群衆位置ラベルを生成する方法の具体例である。図１０に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像とに基づき、群衆状態画像Ｉ１４に対して、複数の人の人物領域Ｒ１４で構成された群衆領域の画像（群衆領域画像）Ｉ２４を生成してもよい。この場合、教師データ生成手段１１は、生成された群衆領域画像Ｉ２４から人物領域Ｒ１４に対して重心位置Ｐ１４を算出する。そして、教師データ生成手段１１は、算出結果から、２次元の重心座標（ｘ，ｙ）を取得し、その座標を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００３７】
また、図１１に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像と、人物領域画像に付加された頭部矩形とに基づき、群衆状態画像Ｉ１５に対して、複数の人の頭部領域Ｒ１５で構成された群衆領域の画像（群衆領域画像）Ｉ２５を生成してもよい。この場合、教師データ生成手段１１は、生成された群衆領域画像Ｉ２５から頭部領域Ｒ１５に対して重心位置Ｐ１５を算出する。そして、教師データ生成手段１１は、算出結果から、２次元の重心座標（ｘ，ｙ）を取得し、その座標を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００３８】
また、図１２に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像に付加された頭部位置とに基づき、群衆状態画像Ｉ１６に対する頭部位置Ｐ１６を算出してもよい。この場合、教師データ生成手段１１は、算出された群衆状態画像Ｉ１６における頭部位置Ｐ１６から重心位置Ｐ２６を算出する。そして、教師データ生成手段１１は、算出結果から、２次元の重心座標（ｘ，ｙ）を取得し、その座標を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００３９】
図１３および図１４に例示する方法は、（ｋ×２）次元の群衆位置ラベルを生成する方法の具体例である。図１３に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像とに基づき、群衆状態画像Ｉ１７に対して、複数の人の人物領域で構成された群衆領域の画像（群衆領域画像）Ｉ２７を生成してもよい。この場合、教師データ生成手段１１は、生成された群衆領域画像Ｉ２７の人物領域Ｒ１７をｋ−ｍｅａｎｓ法等を用いてｋ個にクラスタリングし、各クラスタの中心座標Ｐ１７（ｘｋ，ｙｋ）を算出する。そして、教師データ生成手段１１は、算出結果から、ｋ個の２次元の中心座標Ｐ２７を取得し、その座標群を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００４０】
なお、ｋの値は、予め決められた所定の値でもよいし、群衆領域画像Ｉ２７の人の数に合わせた値でもよい。また、クラスタリングの方法は、上述するｋ−ｍｅａｎｓ法に限定されない。
【００４１】
また、図１４に例示するように、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示と、人物位置情報記憶手段２３に記憶されている人物領域画像と、人物領域画像に付加された頭部矩形とに基づき、群衆状態画像Ｉ１８に対して、複数の人の頭部領域で構成された群衆領域の画像（群衆領域画像）Ｉ２８を生成してもよい。この場合、教師データ生成手段１１は、生成された群衆領域画像Ｉ２８の頭部領域Ｒ１８をｋ−ｍｅａｎｓ法等を用いてｋ個にクラスタリングし、各クラスタの中心座標Ｐ１８を算出する。そして、教師データ生成手段１１は、算出結果から、ｋ個の２次元の中心座標Ｐ１８を取得し、その座標群を複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）とする。
【００４２】
なお、図１３の説明で示したように、ｋの値は、予め決められた所定の値でもよいし、群衆領域画像Ｉ２８の人の数に合わせた値でもよい。また、クラスタリングの方法は、上述するｋ−ｍｅａｎｓ法に限定されない。
【００４３】
以上、図７から図１４を用いて群衆位置ラベルを生成する方法の具体例を示したが、群衆位置ラベルを生成する方法は、図７から図１４に例示する方法に限定されない。群衆状態画像に対して複数の人の位置が分かる情報を示すラベルが生成できるのならば、その方法は任意である。
【００４４】
また、上記では、教師データ生成手段１１が、背景画像記憶手段２１、人物画像記憶手段２２、人物位置情報記憶手段２３および生成指示記憶手段２４に記憶された情報を用いて、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを生成する場合について説明した。ただし、教師データ生成手段１１は、背景画像記憶手段２１、人物画像記憶手段２２、人物位置情報記憶手段２３および生成指示記憶手段２４に記憶された情報を用いなくてもよい。教師データ生成手段１１は、例えば、ＣＧ（computer graphics ）画像合成と合成するための指示情報により、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを生成してもよい。
【００４５】
学習手段１２は、教師データ記憶手段２５に記憶されている群衆状態画像、群衆状態ラベル、および、群衆位置ラベルを用いて、画像から群衆状態を認識するための識別器を学習する。そして、学習手段１２は、学習された識別器の辞書を出力して、辞書記憶手段２６に記憶する。さらに、学習手段１２は、群衆状態画像を入力とし、群衆状態ラベルおよび群衆位置ラベルを出力とする学習を行う。
【００４６】
また、上述する本実施形態において、ニューラルネットワークでの学習を想定する。図１５は、群衆状態の認識に用いられる識別器の例を示す説明図である。学習手段１２は、群衆状態画像を入力とし、群衆状態ラベルおよび群衆位置ラベルを出力とする学習を行う。このとき、図１５に例示するように、学習の際、群衆状態ラベルおよび群衆位置ラベルに対して共通に構成されるネットワークＮＷが入力側に設定され、群衆状態ラベルと群衆位置ラベルに対して独立に構成されるネットワークＮＷ１およびネットワークＮＷ２が出力側に設定される。なお、ニューラルネットワークの学習方法は広く知られており、ここでは詳細な説明は省略する。
【００４７】
教師データ生成手段１１と、学習手段１２とは、プログラム（学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶装置２に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、教師データ生成手段１１および学習手段１２として動作してもよい。また、教師データ生成手段１１と、学習手段１２とは、それぞれが専用のハードウェアで実現されていてもよい。
【００４８】
また、本実施形態の群衆状態認識装置は、学習して得られた識別器の辞書と識別器を用いて、画像から群衆状態を認識する。図２に例示する群衆状態認識装置は、認識対象の画像を取得する画像取得装置３と、プログラム制御により動作するデータ処理装置４と、情報を記憶する記憶装置５とを含む。なお、データ処理装置４の内容については後述される。記憶装置５は、辞書記憶手段５１と、ネットワーク選択情報記憶手段５２とを含む。
【００４９】
辞書記憶手段５１は、図１に例示する辞書記憶手段２６と同じものである。そのため、辞書記憶手段５１については、説明を省略する。ネットワーク選択情報記憶手段５２は、辞書記憶手段５１に記憶される辞書に基づいた群衆状態認識手段４１の識別器において、群衆状態を認識する際にこの識別器で使用されるネットワークを選択するための情報を記憶する。以下、この情報のことを選択情報またはネットワーク選択情報と記すこともある。
【００５０】
記憶装置５（より具体的には、辞書記憶手段５１と、ネットワーク選択情報記憶手段５２）は、例えば、磁気ディスク等により実現される。
【００５１】
データ処理装置４は、群衆状態認識手段４１を含む。群衆状態認識手段４１は、画像取得装置３が取得する認識対象の画像に対して、辞書記憶手段５１に記憶される辞書に基づいた識別器を用いて、群衆状態を認識し出力する。さらに、群衆状態認識手段４１で用いられる識別器は、認識対象の画像を入力とし、群衆状態および群衆位置を出力とする。さらに、この識別器は、入力側に群衆状態および群衆位置に対して共通に構成されるネットワーク（共通ネットワーク）を有し、出力側に群衆状態および群衆位置に対して独立に構成されるネットワーク（独立ネットワーク）を有している。
【００５２】
また、群衆状態認識手段４１は、ネットワーク選択情報記憶手段５２に記憶される情報（ネットワーク選択情報）に基づいて、識別器で使用されるネットワークを選択する。群衆状態認識手段４１は、群衆状態のみ、または、群衆状態と群衆位置の両方を選択して出力してもよい。
【００５３】
例えば、図１５に例示する識別器Ｘ１において、ネットワーク選択情報記憶手段５２が、共通ネットワークＮＷとネットワークＮＷ１のみを使用するように選択情報を記憶しているとする。この場合、群衆状態認識手段４１は、群衆状態のみを出力する。また、例えば、ネットワーク選択情報記憶手段５２が、全てのネットワークを使用するように選択情報を記憶しているとする。この場合、群衆状態認識手段４１は、群衆状態および群衆位置を出力する。
【００５４】
なお、構築される識別器の態様は、図１５に例示する態様に限定されない。図１６は、群衆状態の認識に用いられる識別器の他の例を示す説明図である。図１６に例示するように、群衆状態認識手段４１は、群衆状態の出力はそのままとし、複数種類の群衆位置を出力する識別器Ｘ２を構築してもよい。さらに、識別器が、その複数の出力である群衆位置に対して独立に構成されるネットワークを有していてもよい。このような識別器を用いる場合、学習手段１２が、図１６に例示する構成を想定して学習を行えばよい。ここで出力される複数の群衆位置は、例えば、図７から図１４に例示する様々な形態の群衆位置から選択される。
【００５５】
群衆状態認識手段４１は、プログラム（群衆状態認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶装置５に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、群衆状態認識手段４１として動作してもよい。
【００５６】
また、図２に例示する本実施形態の画像取得装置３、データ処理装置４および記憶装置５が、一体となってＩＰカメラ（ネットワークカメラ）で実現されていてもよい。この場合、画像取得装置３がいわゆる撮像装置として実現され、ＩＰカメラが辞書記憶手段５２と、群衆状態認識手段４１とを備え、群衆状態認識手段４１が上述する識別器を用いて、画像取得手段３が撮影した画像から群衆状態および群衆位置を認識すればよい。
【００５７】
次に、本実施形態の動作を説明する。上述するように、本実施形態のデータ処理装置１は、画像から複数の人で構成される群衆の状態（群衆状態）を認識するための教師データを学習する動作を行う。また、本実施形態のデータ処理装置４は、学習によって得られた辞書に基づいた識別器を用いて、画像から群衆状態を認識する動作を行う。まずは、図１７を用いて、画像から複数の人で構成される群衆の状態（群衆状態）を認識するための教師データを学習する動作を説明する。図１７は、本実施形態のデータ処理装置１の動作例を示すフローチャートである。
【００５８】
教師データ生成手段１１は、教師データを生成する（ステップＳ１）。具体的には、教師データ生成手段１１は、生成指示記憶手段２４に記憶されている指示に基づいて、背景画像の情報と、人物画像の情報と、人物領域画像の情報とから、群衆状態の画像とその画像の群衆状態を示すラベル（群衆状態ラベル）とを教師データとして生成する。さらに、教師データ生成手段１１は、追加で、上記情報から、群衆状態の画像に対して複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）を教師データとして生成する。なお、背景画像の情報は、背景画像記憶手段２１に記憶され、人物画像の情報は、人物画像記憶手段２２に記憶され、人物領域画像の情報は、人物位置情報記憶手段２３に記憶されている。
【００５９】
次に、教師データ生成手段１１は、生成された群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを教師データとして教師データ記憶手段２５に格納する（ステップＳ２）。そして、教師データ生成手段１１は、教師データの種類や数に関して、学習に必要な全ての教師データを生成したか確認する（ステップＳ３）。全ての教師データを生成していないならば（ステップＳ３におけるＮｏ）、教師データ生成手段１１は、ステップＳ１〜Ｓ３までの処理を繰り返す。
【００６０】
一方、全ての教師データを生成したならば（ステップＳ３におけるＹｅｓ）、学習手段１２は、教師データ記憶手段２５に記憶されている群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを教師データとして用いて、画像から群衆状態を認識するための識別器を学習する（ステップＳ４）。そして、学習手段１２は、学習された識別器の辞書を、辞書記憶手段２６に格納する（ステップＳ５）。
【００６１】
次に、図１８を用いて、学習によって得られた辞書に基づく識別器を用いて、画像から群衆状態を認識する動作を説明する。図１８は、本実施形態のデータ処理装置４の動作例を示すフローチャートである。
【００６２】
群衆状態認識手段４１は、辞書記憶手段５１に記憶された辞書に基づいて、群衆状態認識手段４１で用いる識別器を構築する（ステップＳ１０）。次に、群衆状態認識手段４１は、ネットワーク選択情報記憶手段５２に記憶された情報に基づいて、識別器で使用するネットワークを選択する（ステップＳ１１）。次に、画像取得装置３は、認識対象の画像を取得する（ステップＳ１２）。
【００６３】
次に、群衆状態認識手段４１は、画像取得装置３が取得した認識対象の画像に対して、辞書記憶手段５１に記憶される辞書に基づいて構成された識別器と、ネットワークの選択情報とを用いて、群衆状態を認識し出力する（ステップＳ１３）。なお、識別器で使用するネットワークの選択情報は、ネットワーク選択情報記憶手段５２に記憶されている情報（ネットワーク選択情報）である。群衆状態認識手段４１は、識別器で使用するネットワークの選択情報に応じて、群衆状態と併せて群衆位置を出力してもよい。認識結果の出力後、データ処理装置４は、次の認識すべき対象の画像を取得するために、ステップＳ１２に戻り、以降の処理を繰り返す。
【００６４】
次に、本実施形態の効果を説明する。本実施形態では、複数の人で構成される群衆状態の画像（群衆状態画像）とその画像の群衆状態を示すラベル（群衆状態ラベル）という教師データに加え、群衆状態の画像に対して複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）という教師データを用意する。そして、学習手段１２が、入力に群衆状態画像を、出力に群衆状態ラベルを構成し、さらに出力に群衆位置ラベルを追加構成した識別器を学習する。追加された群衆位置の情報によって、精度向上に寄与する学習のための間接的な情報量が増加されているので、複数の人で構成される群衆の状態を認識する群衆状態認識において認識精度を向上させることができる。
【００６５】
また、本実施形態では、複数の人で構成される群衆状態を認識する識別器が、認識対象の画像を入力とし、群衆状態および群衆位置を出力とするニューラルネットワークで構成される。そして、そのニューラルネットワークは、入力側に群衆状態および群衆位置に対して共通に構成されるネットワークを有し、出力側に群衆状態および群衆位置に対して独立に構成されるネットワークを有している。学習手段１２は、学習時に全てのネットワークを用いて学習を行う。そして、群衆状態認識手段４１が、認識時には共通のネットワークおよび群衆状態に対する独立のネットワークのみを用いる選択が可能なため、必要最小限のネットワークのみで高速に群衆状態を認識することができる。
【００６６】
また、本実施形態では、教師データ生成手段１１が、群衆状態画像を生成する指示に基づいて、背景画像の情報と人物画像の情報と人物領域画像の情報から、複数の人で構成される群衆状態の画像（群衆状態画像）と、その画像の群衆状態を示すラベル（群衆状態ラベル）という学習に対して基本的な教師データを生成する。さらに、教師データ生成手段１１が、追加で、群衆状態の画像に対して複数の人の位置が分かる情報を示すラベル（群衆位置ラベル）という間接的な教師データを生成する。このように、間接的な教師データの生成を特別な情報を用いずに、基本的な教師データの生成と同じ情報に基づいて生成しているので、学習のための情報量強化に寄与する間接的な教師データを手間なく容易に生成できる。
【００６７】
また、本実施形態では、上述するように、群衆状態を認識する識別器が、認識対象の画像を入力とし、群衆状態および群衆位置を出力とするニューラルネットワークで構成される。このニューラルネットワークは、入力側に群衆状態および群衆位置に対して共通に構成されるネットワークを有し、出力側に群衆状態および群衆位置に対して独立に構成されるネットワークを有する。さらに、識別器が、複数種類の群衆位置を出力するように構築された場合、学習手段１２が、その複数種類の出力である群衆位置に対して独立に構成されるネットワークを構築して学習する。このように追加された複数種類の群衆位置の情報によって、１種類の群衆位置の場合より、群衆状態の認識に対して学習する間接的な情報量が増加されるため、群衆状態認識においてさらに認識精度を向上できる。
【００６８】
また、本実施形態では、複数の人で構成される群衆状態を認識する識別器が、認識対象の画像を入力とし、群衆状態および群衆位置を出力とするように構成される。そのため、認識時に、複数の人で構成される群衆の状態（群衆状態）だけでなく、複数の人（群衆）の位置が分かる情報（群衆位置）も認識結果として得ることができる。
【００６９】
以上のように、本実施形態では、学習手段１２が、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを含む教師データを用いて、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を学習する。この識別器を用いることで、群衆状態を認識する精度を向上させることができる。
【００７０】
また、本実施形態では、群衆状態認識手段４１が、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する。このような構成により、複数の人で構成される群衆の状態を認識する精度を向上させることができる。
【００７１】
実施形態２．
次に、本発明による群衆状態認識装置の第２の実施形態を説明する。図１９および図２０は、第２の実施形態の群衆状態認識装置のそれぞれ一部の構成例を示すブロック図である。なお、図１９および図２０に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【００７２】
第２の実施形態の群衆状態認識装置は、画像から複数の人で構成される群衆の状態（群衆状態）を認識するための教師データを学習する装置と、学習によって得られた辞書に基づいた識別器を用いて、画像から群衆状態を認識する装置とに分割可能である。
【００７３】
まず、図１９を用いて、画像から複数の人で構成される群衆の状態（群衆状態）を認識するための教師データを学習する装置について説明する。図１９を参照すると、本発明の第２の実施形態の群衆状態認識装置は、背景画像記憶手段２１、人物画像記憶手段２２、人物位置情報記憶手段２３、生成指示記憶手段２４、教師データ記憶手段２５、および、辞書記憶手段２６を有する第１の実施形態と同様の記憶装置２が、コンピュータ１００に接続されている。また、群衆状態認識用プログラム１０１を記憶するコンピュータ可読記憶媒体１０２が、コンピュータ１００に接続されている。
【００７４】
コンピュータ可読記憶媒体１０２は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された群衆状態認識用プログラム１０１は、コンピュータ１００の立ち上げ時などに、コンピュータ１００に読み取られる。このプログラムによってコンピュータ１００の動作を制御することにより、前述した第１の実施形態におけるデータ処理装置１内の教師データ生成手段１１および学習手段１２としてコンピュータ１００を機能させ、図１７に示す処理を行わせる。
【００７５】
次に、図２０を用いて、学習によって得られた辞書に基づいた識別器で画像から群衆状態を認識する装置について説明する。図２０を参照すると、本発明の第２の実施形態の群衆状態認識装置は、辞書記憶手段５１、および、ネットワーク選択情報記憶手段５２を有する第１の実施形態と同様の記憶装置５が、コンピュータ１５０に接続されている。また、群衆状態認識用プログラム１０３を記憶するコンピュータ可読記憶媒体１０４が、コンピュータ１５０に接続されている。
【００７６】
コンピュータ可読記憶媒体１０４は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された群衆状態認識用プログラム１０３は、コンピュータ１５０の立ち上げ時などに、コンピュータ１５０に読み取られる。このプログラムによってコンピュータ１５０の動作を制御することにより、前述した第１の実施形態におけるデータ処理装置４内の群衆状態認識手段４１としてコンピュータ１５０を機能させ、図１８に示す処理を行わせる。
【００７７】
なお、第１の実施形態および第２の実施形態において、群衆状態認識装置は、複数の人で構成される群衆の状態（群衆状態）を認識する。ただし、群衆状態認識装置が認識する対象は、人に限られず、複数の任意の「モノ」を対象としてもよい。すなわち、認識対象の説明を『人』から『モノ』に置き換えてもよい。この場合、上述する人に関する記載は、モノに関する記載と解釈できる。
【００７８】
次に、本発明の概要を説明する。図２１は、本発明による群衆状態認識装置の概要を示すブロック図である。図２１に例示する群衆状態認識装置８０は、複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、その画像の群衆状態を示すラベルである群衆状態ラベルと、群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する教師データ記憶手段８１（例えば、教師データ記憶手段２５）と、認識対象の画像から群衆状態を認識する識別器を学習する学習手段８２（例えば、学習手段１２）とを備えている。
【００７９】
学習手段８２は、群衆状態画像を入力とし群衆状態ラベルおよび群衆位置ラベルを出力とする識別器を、教師データ記憶手段８１に記憶されている教師データを用いて学習する。
【００８０】
そのような構成により、複数の人で構成される群衆の状態を認識する精度を向上できる。
【００８１】
また、識別器は、ニューラルネットワークで構成され、そのニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、そのニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有していてもよい。
【００８２】
図２２は、本発明による群衆状態認識装置の他の概要を示すブロック図である。図２２に例示する群衆状態認識装置９０は、画像から群衆状態を認識する識別器で用いられる辞書として、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書を記憶する辞書記憶手段９１（例えば、辞書記憶手段２６）と、認識対象の画像を入力とし群衆状態および群衆位置を出力とする辞書記憶手段９１に記憶される辞書に基づく識別器であって、ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識手段９２（例えば、群衆状態認識手段４１）とを備えている。
【００８３】
そのような構成によっても、複数の人で構成される群衆の状態を認識する精度を向上できる。
【００８４】
また、群衆状態認識装置９０は、ネットワーク選択情報を記憶するネットワーク選択情報記憶手段（例えば、ネットワーク選択情報記憶手段５２）を備えていてもよい。そして、群衆状態認識手段９２は、ネットワーク選択情報記憶手段に記憶される情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識してもよい。
【００８５】
また、上述する識別器は、複数種類の群衆位置を出力とし、その複数種類出力される群衆位置に対して独立に構成される独立ネットワークを有していてもよい。
【００８６】
また、群衆状態認識装置８０および群衆状態認識装置９０は、群衆状態画像を生成する生成指示に基づいて、背景画像の情報、人物画像の情報およびその人物画像中で人物が撮像されている領域である人物領域画像の情報から、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを、識別器の学習に用いる教師データとして生成する教師データ生成手段（例えば、教師データ生成手段１１）を備えていてもよい。
【００８７】
また、教師データ生成手段は、生成指示に基づいて群衆状態ラベルを生成し、生成指示および人物領域画像の情報に基づいて群衆位置ラベルを生成してもよい。
【００８８】
ここで、上述する人物領域画像の情報は、人物領域画像およびその人物領域画像上の人物の位置情報を含み、その人物の位置情報は、人物の中心位置、人物を囲む矩形、頭部の中心位置、および、頭部を囲む矩形の少なくとも１つ以上を含んでいてもよい。
【００８９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００９０】
（付記１）複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する教師データ記憶手段と、認識対象の画像から前記群衆状態を認識する識別器を学習する学習手段とを備え、前記学習手段は、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を、前記教師データ記憶手段に記憶されている教師データを用いて学習することを特徴とする群衆状態認識装置。
【００９１】
（付記２）識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する
付記１記載の群衆状態認識装置。
【００９２】
（付記３）画像から群衆状態を認識する識別器で用いられる辞書として、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書を記憶する辞書記憶手段と、認識対象の画像を入力とし群衆状態および群衆位置を出力とする前記辞書記憶手段に記憶される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識手段とを備えたことを特徴とする群衆状態認識装置。
【００９３】
（付記４）ネットワーク選択情報を記憶するネットワーク選択情報記憶手段を備え、群衆状態認識手段は、前記ネットワーク選択情報記憶手段に記憶される情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識する付記３記載の群衆状態認識装置。
【００９４】
（付記５）識別器は、複数種類の群衆位置を出力とし、当該複数種類出力される群衆位置に対して独立に構成される独立ネットワークを有する付記２から付記４のうちのいずれか１つに記載の群衆状態認識装置。
【００９５】
（付記６）群衆状態画像を生成する生成指示に基づいて、背景画像の情報、人物画像の情報および当該人物画像中で人物が撮像されている領域である人物領域画像の情報から、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを、識別器の学習に用いる教師データとして生成する教師データ生成手段を備えた付記１から付記５のうちのいずれか１項に記載の群衆状態認識装置。
【００９６】
（付記７）教師データ生成手段は、生成指示に基づいて群衆状態ラベルを生成し、生成指示および人物領域画像の情報に基づいて群衆位置ラベルを生成する付記６記載の群衆状態認識装置。
【００９７】
（付記８）人物領域画像の情報は、人物領域画像および当該人物領域画像上の人物の位置情報を含み、当該人物の位置情報は、人物の中心位置、人物を囲む矩形、頭部の中心位置、および、頭部を囲む矩形の少なくとも１つ以上を含む付記６または付記７記載の群衆状態認識装置。
【００９８】
（付記９）教師データ生成手段は、生成指示および人物領域画像に基づいて、前記群衆状態の画像に対して複数の人の人物領域で構成された群衆領域の画像を生成し、生成された群衆領域の画像を予め定められたＮ×Ｎ等分に分割して、分割された領域ごとの平均輝度を算出し、算出されたＮ×Ｎ次元の輝度値を群衆位置ラベルとする付記６または付記７記載の群衆状態認識装置。
【００９９】
（付記１０）教師データ生成手段は、生成指示、人物領域画像および当該人物領域画像に付加された頭部矩形を示す情報に基づいて、群衆状態の画像に対して複数の人の頭部領域で構成された群衆領域の画像を生成し、生成された群衆領域の画像を予め定められたＮ×Ｎ等分に分割して、分割された領域ごとの平均輝度を算出し、算出されたＮ×Ｎ次元の輝度値を群衆位置ラベルとする付記６または付記７記載の群衆状態認識装置。
【０１００】
（付記１１）認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習する学習方法であって、前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習することを特徴とする学習方法。
【０１０１】
（付記１２）識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する付記１１記載の学習方法。
【０１０２】
（付記１３）認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識することを特徴とする群衆状態認識方法。
【０１０３】
（付記１４）ネットワーク選択情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識する付記１３記載の群衆状態認識方法。
【０１０４】
（付記１５）認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習するコンピュータに適用される学習プログラムであって、前記コンピュータに、前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習する学習処理を実行させるための学習プログラム。
【０１０５】
（付記１６）識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する付記１５記載の学習プログラム。
【０１０６】
（付記１７）コンピュータに、認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識処理を実行させるための群衆状態認識用プログラム。
【０１０７】
（付記１８）コンピュータに、群衆状態認識処理で、ネットワーク選択情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択させ、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識させる付記１７記載の群衆状態認識用プログラム。
【産業上の利用可能性】
【０１０８】
本発明は、複数の人で構成される群衆の状態を認識する群衆状態認識装置や、その群衆の状態を認識する装置において認識精度を向上できる群衆状態認識装置、それらの群衆状態認識装置をコンピュータに実現するためのプログラムといった用途に好適に適用される。【０１０９】
また、本発明は、カメラの映像や蓄積された映像から群衆状態の認識を必要とする監視分野において、不審者の認識、不審物の置き去り認識、ゲートの共連れ認識、異常状態認識、異常行動認識などを行う装置に好適に適用される。【０１１０】
また、本発明は、マーケティング分野での動線解析、行動解析を行う装置などに好適に適用される。さらに、本発明は、カメラの映像や蓄積された映像から群衆状態を認識し、その認識結果とその位置（２Ｄ、３Ｄ）を入力とする入力インタフェースに好適に適用される。この他、本発明は、群衆状態の認識結果とその位置（２Ｄ、３Ｄ）をトリガやキーとするビデオ／映像検索装置などに好適に適用される。【０１１１】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１１２】
この出願は、２０１７年５月２２日に出願された日本特許出願２０１７−１００６４２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１３】
１  データ処理装置
２  記憶装置
３  画像取得装置
４  データ処理装置
５  記憶装置
１１  教師データ生成手段
１２  学習手段
２１  背景画像記憶手段
２２  人物画像記憶手段
２３  人物位置情報記憶手段
２４  生成指示記憶手段
２５  教師データ記憶手段
２６  辞書記憶手段
４１  群衆状態認識手段
５１  辞書記憶手段
５２  ネットワーク選択情報記憶手段
１００，１５０  コンピュータ
１０１，１０３  群衆状態認識用プログラム
１０２，１０４  コンピュータ可読記憶媒体
【図１】
2018216648.tif 000003
【図２】
2018216648.tif 000004
【図３】
2018216648.tif 000005
【図４】
2018216648.tif 000006
【図５】
2018216648.tif 000007
【図６】
2018216648.tif 000008
【図７】
2018216648.tif 000009
【図８】
2018216648.tif 000010
【図９】
2018216648.tif 000011
【図１０】
2018216648.tif 000012
【図１１】
2018216648.tif 000013
【図１２】
2018216648.tif 000014
【図１３】
2018216648.tif 000015
【図１４】
2018216648.tif 000016
【図１５】
2018216648.tif 000017
【図１６】
2018216648.tif 000018
【図１７】
2018216648.tif 000019
【図１８】
2018216648.tif 000020
【図１９】
2018216648.tif 000021
【図２０】
2018216648.tif 000022
【図２１】
2018216648.tif 000023
【図２２】
2018216648.tif 000024
【手続補正書】
【提出日】令和1年11月13日(2019.11.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の人で構成される群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを、教師データとして記憶する教師データ記憶手段と、
認識対象の画像から前記群衆状態を認識する識別器を学習する学習手段とを備え、
前記学習手段は、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を、前記教師データ記憶手段に記憶されている教師データを用いて学習する
ことを特徴とする群衆状態認識装置。
【請求項２】
識別器は、ニューラルネットワークで構成され、当該ニューラルネットワークの入力側に群衆状態ラベルおよび群衆位置ラベルに対して共通に構成される共通ネットワークを有し、当該ニューラルネットワークの出力側に群衆状態ラベルおよび群衆位置ラベルに対して独立に構成される独立ネットワークを有する
請求項１記載の群衆状態認識装置。
【請求項３】
画像から群衆状態を認識する識別器で用いられる辞書として、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書を記憶する辞書記憶手段と、
認識対象の画像を入力とし群衆状態および群衆位置を出力とする前記辞書記憶手段に記憶される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識手段とを備えた
ことを特徴とする群衆状態認識装置。
【請求項４】
ネットワーク選択情報を記憶するネットワーク選択情報記憶手段を備え、
群衆状態認識手段は、前記ネットワーク選択情報記憶手段に記憶される情報に基づいて、識別器で使用する共通ネットワーク及び独立ネットワークを選択し、群衆状態単独、または、群衆状態および群衆位置両方のいずれかを切り替えて認識する
請求項３記載の群衆状態認識装置。
【請求項５】
識別器は、複数種類の群衆位置を出力とし、当該複数種類出力される群衆位置に対して独立に構成される独立ネットワークを有する
請求項２から請求項４のうちのいずれか１項に記載の群衆状態認識装置。
【請求項６】
群衆状態画像を生成する生成指示に基づいて、背景画像の情報、人物画像の情報および当該人物画像中で人物が撮像されている領域である人物領域画像の情報から、群衆状態画像、群衆状態ラベルおよび群衆位置ラベルを、識別器の学習に用いる教師データとして生成する教師データ生成手段を備えた
請求項１または請求項２記載の群衆状態認識装置。
【請求項７】
認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習する学習方法であって、
前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習する
ことを特徴とする学習方法。
【請求項８】
認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する
ことを特徴とする群衆状態認識方法。
【請求項９】
認識対象の画像から複数の人で構成される群衆状態を認識する識別器を学習するコンピュータに適用される学習プログラムであって、
前記コンピュータに、
前記群衆状態が撮像された画像である群衆状態画像と、当該画像の群衆状態を示すラベルである群衆状態ラベルと、前記群衆状態画像に含まれる複数の人の位置を特定可能な情報を示すラベルである群衆位置ラベルとを含む教師データを用いて、前記群衆状態画像を入力とし前記群衆状態ラベルおよび前記群衆位置ラベルを出力とする識別器を学習する学習処理
を実行させるための学習プログラム。
【請求項１０】
コンピュータに、
認識対象の画像を入力とし群衆状態および群衆位置を出力とする、ニューラルネットワークを構成するネットワーク構造、並びに、ネットワークの重みおよびバイアスで表される辞書に基づく識別器であって、前記ニューラルネットワークの入力側に群衆状態および群衆位置に対して共通に構成される共通ネットワークを有し、前記ニューラルネットワークの出力側に群衆状態および群衆位置に対して独立に構成される独立ネットワークを有する識別器を用いて、認識対象の画像から群衆状態および群衆位置を認識する群衆状態認識処理
を実行させるための群衆状態認識用プログラム。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2018216648.tif 000025
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2018216648.tif 000026
【国際調査報告】
2018216648.tif 000027
2018216648.tif 000028
2018216648.tif 000029
2018216648.tif 000030