(57)【要約】【課題】画像中における計数対象の物体に関連する特定の物体としての確からしさ（尤度）を用いて、当該画像に含まれる計数対象の物体の数を推定する場合の推定誤差を抑制する。【解決手段】情報処理装置は、入力画像における特定の物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得手段と、取得手段により取得された尤度情報における尤度のピーク位置に基づいて、入力画像において計数対象の物体に対応する領域である物体領域を設定する設定手段と、取得手段により取得された尤度情報の尤度と、設定手段により設定された物体領域とに基づいて、入力画像に含まれる計数対象の物体の数を推定する推定手段と、を備える。【選択図】      図３
2020140295.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における特定の物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得手段と、
前記取得手段により取得された尤度情報における尤度のピーク位置に基づいて、前記入力画像において計数対象の物体に対応する領域である物体領域を設定する設定手段と、
前記取得手段により取得された尤度情報の尤度と、前記設定手段により設定された物体領域を示す領域情報とに基づいて、前記入力画像に含まれる前記計数対象の物体の数を推定する推定手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段は、
前記設定手段により設定された複数の物体領域のうち、少なくとも一部が重複する複数の物体領域の和集合領域を取得し、前記尤度情報における前記和集合領域の尤度を補正する補正手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記補正手段は、
前記尤度情報における前記和集合領域の尤度の和が第一の閾値以上である場合、前記和集合領域の尤度を前記第一の閾値に補正することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記補正手段は、
前記和集合領域を所定の条件で分割し、分割された分割領域の前記尤度情報における尤度に対してそれぞれ重み付けを行うことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記補正手段は、
前記分割領域のうち前記尤度のピークが最大となる第一領域以外の前記尤度の重みを、前記第一領域の前記尤度の重みよりも低くすることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記推定手段は、
前記補正手段により補正された前記和集合領域の尤度と、前記尤度情報における前記和集合領域以外の領域の尤度とを足し合わせた結果に基づいて、前記計数対象の物体の数を推定することを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記設定手段は、
前記ピーク位置から一定距離にある領域を前記物体領域として設定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記入力画像を撮像した撮像装置の撮像画角および撮像方向の少なくとも一方を含む撮像パラメータを取得する第二の取得手段をさらに備え、
前記設定手段は、
前記ピーク位置と、前記第二の取得手段により取得された撮像パラメータとに基づいて、前記物体領域を設定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項９】
前記設定手段は、
前記撮像パラメータに応じて、前記物体領域の形状、前記物体領域の大きさ、および前記ピーク位置に対する前記物体領域の相対的な位置の少なくとも１つを設定することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記設定手段は、
前記ピーク位置に基づいて複数の前記物体領域が設定され、少なくとも一部が重複する複数の物体領域の和集合領域の大きさが第二の閾値以上である場合、前記ピーク位置と前記撮像パラメータとに基づいて前記物体領域を設定することで、前記ピーク位置に基づいて設定された前記物体領域を補正することを特徴とする請求項８または９に記載の情報処理装置。
【請求項１１】
前記入力画像に含まれる前記特定の物体の密集度が第三の閾値以下であるか否かを判定する判定手段をさらに備え、
前記推定手段は、
前記判定手段により前記密集度が前記第三の閾値以下であると判定された場合、前記取得手段により取得された尤度情報の尤度と、前記設定手段により設定された物体領域を示す領域情報とに基づいて、前記計数対象の物体の数を推定し、
前記判定手段により前記密集度が前記第三の閾値を上回っていると判定された場合、前記取得手段により取得された尤度情報の尤度に基づいて、前記計数対象の物体の数を推定することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記計数対象の物体は、人体であり、
前記特定の物体は、前記人体の頭部であることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記入力画像を解析し、当該入力画像において一定領域ごとに前記特定の物体が含まれる確からしさを示す尤度を算出する画像解析手段をさらに備え、
前記取得手段は、
前記画像解析手段による画像解析の結果に基づいて、前記尤度情報を取得することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
入力画像における特定の物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得するステップと、
取得された前記尤度情報における尤度のピーク位置に基づいて、前記入力画像において計数対象の物体に対応する領域である物体領域を設定するステップと、
前記尤度情報の尤度と、前記物体領域を示す領域情報とに基づいて、前記入力画像に含まれる前記計数対象の物体の数を推定するステップと、を含むことを特徴とする情報処理方法。
【請求項１５】
コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、画像を解析し、当該画像に含まれる人体の数を推定する画像解析システムがある。
特許文献１には、撮像画像から人体領域を検出する画像処理装置が開示されている。この技術は、撮像画像から検出された顔領域と複数の人体領域のそれぞれとの間の距離（顔人体距離）を算出し、顔人体距離が所定の条件を満たさない人体領域については、人体領域の誤検出であるとして削除する技術である。
この特許文献１に記載の技術を用いて人体領域を取得することで、人体領域の誤検出を抑制することができ、撮像画像中の推定人数の誤差を抑制することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−８８０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像に含まれる人体の数を推定する画像解析システムには、画像中の人体らしさや頭部らしさを示す尤度を算出し、当該尤度を足し合わせることで人数を推定するシステムがある。
このようなシステムの場合、上記特許文献１に記載の技術を適用することができない。つまり、頭部領域、頭部以外の領域というように領域を取得して人体領域以外の誤検出を抑制することができない。そのため、頭部以外の領域や人体以外の領域を誤検出として含んだまま人数を推定してしまい、推定人数の誤差が大きくなってしまうおそれがある。
そこで、本発明は、画像中における計数対象の物体に関連する特定の物体としての確からしさ（尤度）を用いて、当該画像に含まれる計数対象の物体の数を推定する場合の推定誤差を抑制することを課題としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、入力画像における特定の物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得手段と、前記取得手段により取得された尤度情報における尤度のピーク位置に基づいて、前記入力画像において計数対象の物体に対応する領域である物体領域を設定する設定手段と、前記取得手段により取得された尤度情報の尤度と、前記設定手段により設定された物体領域を示す領域情報とに基づいて、前記入力画像に含まれる前記計数対象の物体の数を推定する推定手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、画像中における計数対象の物体に関連する特定の物体としての確からしさ（尤度）を用いて、当該画像に含まれる計数対象の物体の数を推定する場合の推定誤差を抑制することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における情報処理装置のハードウェア構成例である。
【図２】画像解析システムの概略構成例である。
【図３】第一の実施形態における情報処理装置の機能モジュール構成例である。
【図４】撮像画像の一例である。
【図５】尤度マップにおける尤度のピークを説明する図である。
【図６】人体範囲の和集合領域を説明する図である。
【図７】第一の実施形態の人数推定処理手順を示すフローチャートである。
【図８】和集合領域の尤度の補正方法を説明する図である。
【図９】推定人数を補正しすぎてしまう例である。
【図１０】第二の実施形態における情報処理装置の機能モジュール構成例である。
【図１１】第二の実施形態の人体範囲補正処理手順を示すフローチャートである。
【図１２】人体範囲領域の補正方法を説明する図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
（第一の実施形態）
本実施形態では、画像から計数対象の物体に関連する特定の物体を検出し、画像中における特定の物体としての確からしさを示す尤度を用いて、画像に含まれる計数対象の物体の数を推定する画像解析システムについて説明する。本実施形態における画像解析システムは、上記の計数対象の物体を人体とし、上記の特定の物体を人体の頭部として、画像に含まれる人体の数を推定する情報処理装置を備える。
【００１０】
図１は、本実施形態における情報処理装置１００のハードウェア構成例である。
情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ストレージ１０４および通信Ｉ／Ｆ１０５を備える。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ストレージ１０４および通信Ｉ／Ｆ１０５は、内部バス１０６に接続されている。
ＣＰＵ１０１は、情報処理装置１００における動作を統括的に制御する中央演算装置である。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要なプログラムや各種初期設定データなどを記憶する不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する揮発性メモリであり、プログラムや画像データなどが一時的に格納される。ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００１１】
ストレージ１０４は、ＲＡＭ１０３と比較して大容量な記録デバイスであり、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）である。ストレージ１０４には、ＣＰＵ１０１により実行されるＯＳ（基本ソフトウェア）や、本実施形態に係る人数推定処理プログラム、その他各種のデータ等が格納される。また、ストレージ１０４は、ネットワークを介して取得された画像データ等も記録可能である。
ＣＰＵ１０１は、電源ＯＮ等の起動時、ＲＯＭ１０２に格納されている起動用プログラムを実行する。この起動用プログラムは、ストレージ１０４に格納されているＯＳを読み出し、ＲＡＭ１０３に展開するためのものである。ＣＰＵ１０１は、ＯＳの起動後、例えば図２に示す操作部１０７等を介してユーザにより人数推定処理を起動する旨の指示がなされると、ストレージ１０４から人数推定処理プログラムを読み出してＲＡＭ１０３に展開する。これにより、ＣＰＵ１０１は、人数推定処理を実行可能な状態となる。また、ＣＰＵ１０１は、人数推定処理プログラムの動作に用いられる各種データについてもＲＡＭ１０３上に格納して読み書きを行う。
【００１２】
通信Ｉ／Ｆ１０５は、例えばＬＡＮ（ローカルエリアネットワーク）のインタフェースであり、ネットワークを介してネットワークカメラや他のコンピュータ等との通信を行う。
なお、本実施形態における人数推定処理にて扱う画像や、人数推定処理を実行するための人数推定処理プログラム、人数推定処理にて用いる各種データは、ネットワークを介して取得されてもよい。
情報処理装置１００は、パーソナルコンピュータ（ＰＣ）やタブレットＰＣなどのように、図１に示す構成を備える１つの装置により構成することができる。ただし、図１に示す構成は、別個のハードウェアにより構成されていてもよい。つまり、情報処理装置１００は、複数の装置により構成されていてもよい。
【００１３】
図２は、本実施形態における情報処理装置１００を備える画像解析システム１０００の概略構成例である。
画像解析システム１０００は、情報処理装置１００と、カメラ２００と、記憶装置３００と、を備える。情報処理装置１００、カメラ２００および記憶装置３００は、それぞれネットワーク４００によって相互に通信可能に接続されている。ネットワーク４００は、例えばＬＡＮとすることができる。なお、ネットワーク４００は、情報処理装置１００、カメラ２００および記憶装置３００の間で通信可能な構成であれば、その通信規格、規模および構成は問わない。また、ネットワーク４００への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、情報処理装置１００、カメラ２００および記憶装置３００の間は、ネットワーク４００による接続に限定されるものではなく、例えばＵＳＢ等により接続されていてもよい。
【００１４】
情報処理装置１００は、ハードウェア構成として、図１の構成の他に操作部１０７および表示部１０８を具備することができる。ここで、入力部１０７は、キーボードやマウス等のポインティングデバイスを備えることができる。また、表示部１０８は、液晶ディスプレイ（ＬＣＤ）等のモニタを備えることができる。表示部１０８は、ユーザ（操作者）が情報処理装置１００を操作する際に閲覧等をするための表示デバイスである。
【００１５】
カメラ２００は、例えばネットワークカメラであり、撮像範囲内を撮像し、その撮像画像をネットワーク４００経由で情報処理装置１００に送信する機能を有する撮像装置である。カメラ２００は、撮像領域を変更可能に構成されたＰＴＺカメラ（Pan Tilt Zoom カメラ）であってもよい。この場合、カメラ２００は、パン角度、チルト角度、ズーム倍率といった撮像方向および撮像画角を示す情報を含む撮像パラメータを、ネットワーク４００経由で情報処理装置１００に送信する機能を有していてもよい。
また、本実施形態では、カメラ２００が監視カメラである場合について説明するが、これに限定されるものでははい。例えばカメラ２００は、デジタルスチルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末、工業用カメラ、車載カメラ、ウェアラブルカメラ等であってもよい。
【００１６】
情報処理装置１００は、カメラ２００によって撮像された撮像画像を、入力画像としてカメラ２００からネットワーク４００経由で受信し、受信した入力画像に対して人数推定処理を行う。
なお、カメラ２００は、撮像画像をネットワーク４００経由で記憶装置３００や他のコンピュータのストレージデバイス等に送信してもよい。この場合、情報処理装置１００は、記憶装置３００や他のコンピュータのストレージデバイス等に記憶された撮像画像を、入力画像としてネットワーク４００経由で受信してもよい。ここで、入力画像は、カメラ２００によって撮像された撮像画像に限定されない。例えば入力画像は、撮像画像の一部である部分画像であってもよい。
【００１７】
また、図２に示す画像解析システム１０００の構成は一例であり、それぞれのデバイスはタブレットＰＣなどのように一体化されていてもよい。つまり、情報処理装置１００がカメラ２００の機能を備えていてもよい。
さらに、本実施形態では、計数対象の物体が人体である場合について説明するが、上記に限定されるものではない。例えば、計数対象の物体は、道路等を走行している各種車両、工場内のコンベアー上を流れている部品や製品、その他、動物等であってもよい。
【００１８】
本実施形態における情報処理装置１００は、入力画像から計数対象の物体に関連する特定の物体として人体の頭部を検出し、人体の頭部らしさ（尤度）を推定する。そして、情報処理装置１００は、その尤度を足し合わせた結果に基づいて、画像に含まれる計数対象の物体である人体の数を推定する人数推定処理を行う。
このような人数推定処理では、頭部以外の肩や手足を上記特定の物体（頭部）として検出してしまい、推定人数に誤差が生じる場合がある。そこで、本実施形態では、情報処理装置１００は、推定人数の誤差を抑制するために、尤度マップを取得し、取得された尤度マップにおける尤度のピーク位置に基づいて、計数対象の物体が含まれる物体領域として、人体が含まれる人体範囲を設定する。そして、情報処理装置１００は、取得された尤度マップの尤度と、設定された物体領域を示す領域情報とに基づいて、計数対象の物体の数を推定する。ここで、尤度マップは、入力画像における特定の物体が含まれる確からしさを示す尤度の分布を表す尤度情報の一例である。
【００１９】
なお、本実施形態では、情報処理装置１００が、計数対象の物体である人体に関連する特定の物体として、人体の頭部を検出し、尤度として人体の頭部らしさを推定する場合について説明するが、上記特定の物体は、人体の頭部に限定されない。上記特定の物体は、計数対象の物体である人体そのものでもよいし、顔や手足でもよい。また、計数対象の物体が人体以外の車両や動物などである場合、車両や動物などを上記特定の物体として検出して尤度を推定するようにしてもよい。
【００２０】
図３は、情報処理装置１００の機能モジュールの構成例である。
この図３に示すように、情報処理装置１００は、尤度マップ取得部１１１と、人体範囲算出部１１２と、推定人数補正部１１３と、を備える。図３に示す情報処理装置１００の各要素のうち少なくとも一部の機能は、ＣＰＵ１０１がプログラムを実行することで実現することができる。ただし、図３に示す情報処理装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。
【００２１】
尤度マップ取得部１１１は、入力画像（撮像画像）から人体の頭部を検出する画像解析処理を行った結果得られる尤度マップを取得する。本実施形態における尤度マップは、画像中における人体の頭部らしさを尤度とし、その数値を画像の一定領域ごとに０〜１の範囲で表現した情報とする。なお、上記画像解析処理は、情報処理装置１００が実施してもよいし、情報処理装置１００以外の装置が実施してもよい。
図４は、画像解析処理を施す撮像画像６００の一例である。画像解析処理では、撮像画像６００を一定サイズごとにパッチ分けし、それぞれのパッチ（部分領域）に対してパッチの中の人体の頭部らしさ（尤度）の値を求める。人体の頭部らしさが高い領域の尤度は１となり、低い領域の尤度は０となる。例えば、パッチ内の尤度を足し合わせた結果が３．７である場合、パッチ内には３．７人の人体が存在すると推定することができる。したがって、各パッチにおいて推定された尤度をそれぞれ足し合わせることで、撮像画像６００中の人数を推定することができる。
【００２２】
パッチのサイズは、パッチの中に人体の頭部が一定個数含まれるように設定する。したがって、撮像画像に対するパッチのサイズは、撮像画像中の人体の映る大きさに依存する。つまり、例えば、水平面に対してカメラを見下ろし画角（カメラのレンズの光軸を通る直線が水平よりも下側を向いているときの画角）で設置している場合、撮像画像の下部分では人体が大きく映り、上部分では人体が小さく映るため、パッチ分けを行った結果、撮像画像の下部分のパッチの方が、上部分のパッチよりもサイズが大きくなる。また、例えば、見下ろし画角においてカメラのレンズの光軸を通る直線と水平とがなす角度が大きくなるほど、撮像画像に含まれる人体の大きさが撮像画像内の位置によらず略均一に近づき、撮像画像の上部と下部とのパッチのサイズの差は小さくなる。パッチ分けを行うための計算パラメータは、カメラの設置位置や設置角度、ズーム倍率といったカメラの撮像パラメータを用いてもよいし、ユーザが撮像画像から頭部の大きさを指定してもよい。
図４において、破線で囲まれた矩形領域が、それぞれパッチ分けされた部分領域である。パッチ６０１には人体Ｐ１が存在し、パッチ６０２には人体Ｐ２と人体Ｐ３が存在している。また、この図４では、カメラのレンズの光軸を通る直線と床面とが略垂直になるような場合を想定しており、各パッチのサイズは撮像画像６００中で一律同程度の大きさとなっている。
【００２３】
図５（ａ）は、図４に示す撮像画像６００のうち、人体Ｐ１が存在しているパッチ６０１に尤度マップを重畳させた状態を示す図である。この図５（ａ）では、尤度の情報を色の濃淡で表している。画像解析処理によって人体Ｐ１の頭部と両手とが検出された場合、頭部の尤度情報５０１、左手の尤度情報５０２および右手の尤度情報５０３がそれぞれ人体Ｐ１に重畳される。
図５（ｂ）は、図５（ａ）に示すパッチ６０１における線５０４の部分の尤度の推移５０５を示す図である。このように、尤度マップにおいては、数値が高い部分がピークとなって現れる。なお、尤度マップは、撮像画像に対し、一定領域ごとの尤度の数値情報であるため、実際は３次元の情報である。
【００２４】
図３に戻って、人体範囲算出部１１２は、尤度マップにおける尤度のピーク位置に基づいて、撮像画像において人体が含まれる人体範囲を算出する。本実施形態では、人体範囲は、ピーク位置から一定距離にある領域とする。
図６（ａ）は、図５（ａ）と同様の図であり、人体Ｐ１に対して尤度情報５０１〜５０３を重畳した状態を示している。人体範囲算出部１１２は、人体Ｐ１付近の尤度情報から尤度のピークを取得し、各々の尤度のピーク位置を基準として人体範囲を算出する。人体範囲を示す領域を円として重畳した例を図６（ｂ）に示す。図６（ｂ）において、人体範囲７０１〜７０３は、それぞれ尤度情報５０１〜５０３をもとに決定される尤度のピーク位置を中心とした円領域である。
なお、本実施形態では、人体範囲の形状を円形状としているが、楕円形状や多角形状など、形状は問わない。また、人体範囲の大きさ（例えば、円の半径）は、ユーザが指定した数値を使用してもよいし、パッチのサイズや画像中における人体の頭部のサイズといった撮像パラメータから決定される情報から算出してもよく、その設定方法は問わない。
【００２５】
図３に戻って、推定人数補正部１１３は、撮像画像に含まれる人体の数を推定する人数推定処理を行う。このとき、推定人数補正部１１３は、尤度マップ取得部１１１において取得された尤度マップの尤度と、人体範囲算出部１１２において算出された人体範囲の領域を示す領域情報とに基づいて、人体の数を推定する。
具体的には、推定人数補正部１１３は、人体範囲算出部１１２において複数の人体範囲が算出された場合、少なくとも一部が重複する複数の人体範囲の和集合領域を算出する。例えば、図６（ｂ）に示す人体範囲７０１〜７０３の和集合は、図６（ｃ）に示す和集合領域７０４となる。推定人数補正部１１３は、尤度マップ取得部１１１において取得された尤度マップにおける和集合領域の尤度の和が閾値以上である場合、和集合領域の尤度を当該閾値に補正する。本実施形態では、当該閾値は、１とする。つまり、推定人数補正部１１３は、尤度マップにおける和集合領域の尤度の和が１以上である場合、和集合領域の尤度を１に補正する。そして、和集合領域については補正後の尤度、和集合領域以外の領域について尤度マップの尤度を用いて、撮像画像に含まれる人体の数を推定する。
このように、推定人数補正部１１３は、尤度マップにおける尤度を単純に足し合わせて得られる推定人数に対して補正された推定人数を出力する人数推定処理を行う。
【００２６】
次に、本実施形態における情報処理装置１００における尤度マップ取得部１１１、人体範囲算出部１１２および推定人数補正部１１３の動作について詳細に説明する。
図７は、人体の肩や手足などを頭部として誤検出してしまうことに起因する推定人数の誤差を抑制するための人数推定処理手順を示すフローチャートである。この図７の処理は、例えばユーザにより人数推定処理を起動する旨の指示がなされたタイミングで開始される。ただし、図７の処理の開始タイミングは、上記のタイミングに限らない。情報処理装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図７に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２７】
まずＳ１において、情報処理装置１００は、撮像画像における群衆の密集度が閾値以下であるか否かを判定する。ここで、群衆の密集度は、情報処理装置１００が撮像画像から特定の物体（人体の頭部）を検出する画像解析処理の結果に基づいて取得してもよいし、ユーザや他の装置から取得してもよい。そして、情報処理装置１００は、群衆の密集度が閾値以下ではないと判定した場合は図７の処理を終了する。この場合、情報処理装置１００は、画像解析処理においてパッチごとに推定された尤度をそれぞれ足し合わせることで、画像中の人体の数を推定する。つまり、群衆の密集度が閾値を上回るほど高い場合、人の肩や手足を頭部として誤検出する可能性は低いと判断し、推定人数の補正は行わない。
一方、情報処理装置１００は、Ｓ１において群衆の密集度が閾値以下であると判定した場合、Ｓ２に移行する。Ｓ２では、情報処理装置１００は、尤度マップを取得してＳ３に移行する。Ｓ３では、情報処理装置１００は、Ｓ３において取得された尤度マップから尤度のピークとなる位置を取得し、Ｓ４に移行する。
【００２８】
Ｓ４では、情報処理装置１００は、尤度のピーク位置を基準として、当該ピーク位置から一定距離にある領域を、人体が含まれる人体範囲として算出する。また、情報処理装置１００は、人体範囲の和集合領域を算出し、尤度マップにおける和集合領域の尤度の和を算出する。
次にＳ５において、情報処理装置１００は、Ｓ４において算出された尤度の和が１以上であるか否かを判定する、そして、尤度の和が１以上である場合はＳ６に移行して、和集合領域の尤度を１に補正してからＳ７に移行する。一方、情報処理装置１００は、Ｓ５において、尤度の和が１未満であると判定した場合、そのままＳ７に移行する。
【００２９】
Ｓ７では、情報処理装置１００は、撮像画像におけるすべての尤度のピーク位置に対してＳ４〜Ｓ６の処理を行ったか否かを判定し、すべての尤度のピーク位置に対して処理を行っていないと判定した場合、Ｓ４に戻る。一方、情報処理装置１００は、すべての尤度のピーク位置に対して処理を行っていると判定した場合、Ｓ８に移行する。
Ｓ８では、情報処理装置１００は、和集合領域の補正後の尤度を用いて人体の数を推定することで、推定人数の補正を行い、図７の処理を終了する。情報処理装置１００は、Ｓ１〜Ｓ７の処理により、和集合領域については補正された尤度を、和集合領域以外の領域については補正しない尤度マップにおける尤度を取得することができる。そこで、このＳ８では、情報処理装置１００は、補正された和集合領域の尤度と、尤度マップにおける和集合領域以外の領域の尤度とを足し合わせた結果を、画像中の人体の数として推定することで、推定人数の補正を行う。
【００３０】
なお、上記実施形態においては、和集合領域の尤度の和が閾値以上である場合に、尤度の和を当該閾値に補正することで、和集合領域における推定人数を補正する場合について説明した。しかしながら、和集合領域における推定人数の補正方法は上記に限定されるものではなく、例えば、和集合領域の尤度に対して重み付けを行うことで、和集合領域における推定人数を補正してもよい。この場合、和集合領域を所定の条件で分割し、分割された分割領域ごとに、尤度マップにおける尤度の数値に対して重み付けを行ってもよい。具体的には、和集合領域における尤度のピーク位置について、それぞれ最短の距離にあるピーク位置との間を線でつなぎ、ピーク位置同士をつないだ線分の中点を通る直線であって当該線分と垂直に交わる線分により、領域を分割する。そして、分割領域のうち、尤度のピークが最大となる部分を含む領域以外を無視する、もしくは、尤度のピークが最大となる部分を含む領域以外の尤度の重みを低くする。
【００３１】
和集合領域の尤度の補正方法について、図８に示すように尤度情報５０１〜５０３から和集合領域７０４が算出されている例をもとに説明する。この場合、まず、尤度情報５０１から取得される尤度のピーク位置と、尤度情報５０２から取得される尤度のピーク位置とを線分７１１でつなぎ、線分７１１の二等分線７２１によって和集合領域７０４を分割する。そして、分割した領域に対し、尤度のピークが最大となる部分を含む領域以外、つまり、尤度情報５０２を含む領域を無視する。また、尤度情報５０１から取得される尤度のピーク位置と、尤度情報５０３から取得される尤度のピーク位置とを線分７１２でつなぎ、線分７１２の二等分線７２２によって和集合領域７０４を分割する。そして、分割した領域に対し、尤度のピークが最大となる部分を含む領域以外、つまり、尤度情報５０３を含む領域を無視する。その結果、和集合領域７０４の尤度は、尤度情報５０２、５０３が除外された尤度情報５０１に補正される。
【００３２】
このように、和集合領域における尤度の推移が図５（ｂ）に示すように山と谷とを有する場合、一番高い山となる部分を含む領域以外を誤検出として判断し、当該領域の尤度をノイズとして無視するように重み付けしてもよい。この場合にも、和集合領域の補正後の尤度と、和集合領域以外の補正しない尤度とを足し合わせることで、推定人数を補正することができる。
なお、上記の例では、一番高い山となる部分を含む領域以外の尤度を無視する、つまり、重みを０にする場合について説明したが、当該尤度を一律０．５倍するなど、ノイズとして弱める方向に重み付けしてもよい。また、和集合領域を分割する手法としては、上述した手法に限定されるものではなく、和集合領域に対してWatershedアルゴリズムを使用する手法などを用いてもよい。
【００３３】
また、上記実施形態においては、情報処理装置１００は、人体範囲の和集合領域を算出し、和集合領域の尤度を補正することで画像中の推定人数を補正する場合について説明したが、和集合領域を算出せずに推定人数を補正することもできる。例えば、人体範囲算出部１１２において複数の人体範囲が算出された場合、少なくとも一部が重複する複数の人体範囲が存在するか否かを判定する。そして、少なくとも一部が重複する複数の人体範囲が存在する場合、当該複数の人体範囲のうち、尤度のピークが最大となる人体範囲以外の尤度を無視する、もしくは尤度に対して一律０．５倍する。この場合にも、上述した和集合領域部分の尤度を補正することができ、上記実施形態と同様の効果が得られる。
【００３４】
以上説明したように、本実施形態における情報処理装置１００は、入力画像における特定の物体が存在する確からしさを示す尤度の分布を表す尤度マップを取得する。また、情報処理装置１００は、取得された尤度マップにおける尤度のピーク位置に基づいて、入力画像において計数対象の物体に対応する物体領域を設定する。ここで、上記計数対象の物体は、人体であり、上記特定の物体は、人体の頭部であり、上記物体領域は、人体が含まれる人体範囲とすることができる。また、人体範囲は、ピーク位置から一定距離にある領域とすることができる。そして、情報処理装置１００は、尤度マップの尤度と、人体範囲を示す領域情報とに基づいて、入力画像に含まれる人体の数を推定する。
【００３５】
このように、情報処理装置１００は、尤度マップにおける尤度のピーク位置に基づいて人体範囲を設定する。そのため、情報処理装置１００は、入力画像から人数推定に用いる特定の物体として人体の頭部以外に人体の肩や手足を誤検出されている場合、頭部を基準とした人体範囲や、肩を基準とした人体範囲、手足を基準とした人体範囲を設定することができる。したがって、これらの人体範囲を示す領域情報、例えば人体範囲の位置情報や人体範囲同士の位置関係などを用いることで、人数推定処理における頭部以外の誤検出の影響を抑制することができる。
【００３６】
具体的には、人体範囲を示す領域情報に基づいて、少なくとも一部が重複する複数の人体範囲が存在すると判定された場合、これらの人体範囲の和集合領域を取得し、尤度マップにおける和集合領域の尤度を補正することができる。つまり、重複する複数の人体範囲は、同一の人体に対して設定された人体範囲であると判断し、和集合領域の尤度を補正することができる。本実施形態では、尤度は０〜１の範囲の数値であるため、尤度マップにおける和集合領域の尤度の和が１以上である場合、和集合領域の尤度を１に補正する。
このように、和集合領域の尤度を補正することで、和集合領域について推定される人数を補正することができる。情報処理装置１００は、補正された和集合領域の尤度と、尤度マップにおける和集合領域以外の領域の尤度とを足し合わせた結果に基づいて、画像中の人体の数を推定することで、推定誤差が抑制された人数推定処理を行うことができる。
【００３７】
さらに、情報処理装置１００は、入力画像に含まれる群衆の密集度が閾値以下であるか否かを判定し、群衆の密集度が閾値以下であると判定された場合に、尤度マップの尤度と人体範囲を示す領域情報とに基づいて、画像に含まれる人体の数を推定してもよい。つまり、群衆の密集度が低い場合に、上述した和集合領域の尤度の補正を行い、推定人数の補正を行うようにしてもよい。群衆の密集度が低く、カメラが撮像対象とするエリアを見下ろすように撮像している場合には、人体の頭部以外の手足などを頭部として検出してしまうことがある。そのため、群衆の密集度が低い場合に、上述した尤度マップの尤度と人体範囲を示す領域情報とに基づく人数推定処理を行うことで、適切に推定人数の誤差を抑制することができる。
また、群衆の密集度が閾値を上回っていると判定された場合には、人体範囲を示す領域情報は用いず、尤度マップの尤度に基づいて画像に含まれる人体を推定することができる。つまり、尤度マップの尤度を足し合わせた結果を、そのまま画像に含まれる人数として推定することができる。このように、群衆の密集度が高い場合には、人体範囲の算出や和集合領域の尤度の補正等は必要なく、容易に人数推定処理を行うことができる。
【００３８】
以上のように、本実施形態における情報処理装置１００は、カメラが見下ろし画角である場合に肩や手足などを頭部として検出してしまった場合であっても、頭部以外の検出結果を含んだまま人数を推定してしまうことを抑制することができる。したがって、画像中における人体の頭部らしさ（尤度）を用いて、当該画像に含まれる人体の数を適切に推定することができる。
【００３９】
（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、撮像画像中の尤度のピーク位置に基づいて、人体範囲を算出する場合について説明した。この第二の実施形態では、撮像画像中の尤度のピーク位置に加え、撮像パラメータに基づいて、人体範囲を算出する場合について説明する。
【００４０】
図９は、図５に示す撮像画像６００のパッチ６０２に対して、尤度情報５２１〜５２４と、上述した第一の実施形態の人体範囲算出部１１２において算出される人体範囲７３１〜７３４とを重畳した結果を示す図である。この図９に示すように、２つの人体Ｐ２、Ｐ３が近接している場合、人体Ｐ２に対して算出される人体範囲７３１、７３２と、人体Ｐ３に対して算出される人体範囲７３３、７３４とが重複する領域が存在する。このような状態となった場合、上述した第一の実施形態では、人体範囲７３１〜７３４の和集合領域を算出し、算出した和集合領域の尤度の和を１に補正してしまうため、推定人数を実際の人数である２人から１人へ補正してしまう。
本実施形態では、上記のように推定人数を補正しすぎてしまうことを抑制する。
【００４１】
図１０は、本実施形態における情報処理装置１００の機能モジュールの構成例である。
この図１０に示すように、情報処理装置１００は、図３に示す尤度マップ取得部１１１、人体範囲算出部１１２および推定人数補正部１１３に加え、人体範囲補正部１１４を備える。尤度マップ取得部１１１、人体範囲算出部１１２および推定人数補正部１１３は、第一の実施形態において説明した機能モジュールと同等であるため、ここでは説明を省略する。
【００４２】
人体範囲補正部１１４は、人体範囲算出部１１２において算出された人体範囲を補正する。具体的には、人体範囲補正部１１４は、撮像画像を撮像したカメラ２００の撮像画角および撮像方向の少なくとも一方を含む撮像パラメータを取得し、尤度のピーク位置と、取得された撮像パラメータとに基づいて、人体範囲を算出する。人体範囲補正部１１４は、人体範囲算出部１１２において算出された人体範囲をもとに算出された和集合領域の大きさが所定の閾値以上である場合に、ピーク位置と撮像パラメータとに基づく人体範囲の算出処理を行うことができる。これにより、人体範囲算出部１１２において算出された人体範囲を補正することができる。
以下、人体範囲補正部１１５の処理の詳細について、図１１および図１２を用いて説明する。
【００４３】
図１１は、人体範囲補正部１１４において実行される人体範囲補正処理手順を示すフローチャートである。情報処理装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図１１に示す各処理を実現することができる。
まずＳ１１において、情報処理装置１００は、撮像画像の撮像パラメータを取得する。ここで、撮像パラメータは、カメラの撮像画角や撮像方向（パン、チルト）といった情報である。情報処理装置１００は、カメラ２００からネットワーク４００経由で撮像パラメータを取得してもよいし、ユーザが入力した撮像パラメータを取得してもよい。
【００４４】
次にＳ１２において、情報処理装置１００は、撮像画像中におけるパッチの位置を取得する。図４に示す撮像画像６００におけるパッチ６０２の場合、撮像画像６００の右端よりにパッチが位置すると判断する。
Ｓ１３では、情報処理装置１００は、Ｓ１１において取得された撮像パラメータと、Ｓ１２において取得されたパッチ位置とに基づいて、人体範囲の形状を算出する。以下、図４に示す撮像画像６００を例として説明する。
【００４５】
図４に示す撮像画像６００は、カメラ２００のレンズの光軸を通る直線と床面とが略垂直になるように設置されたカメラ２００により撮像された画像であり、撮像画像６００の中心は、当該光軸を通る直線と床面との交点となる。そのため、パッチ６０２の位置では、人体は、頭が右側、手足が頭に対して左側となるように撮像される。一方、パッチ６０１の位置では、人体は、頭が上側、手足が頭に対して下側となるように撮像される。このように、撮像画像中のパッチの位置に応じて、頭部と手足との相対的な位置関係は変化する。また、パッチ６０２のように、撮像画像の右端よりに位置している場合、頭と手足との距離は大きくなり、パッチが撮像画像の中心よりに位置している場合には、頭と手足の距離は小さくなる。
したがって、情報処理装置１００は、撮像パラメータとパッチ位置とに基づいて、パッチに含まれる人体の頭と手足との距離関係および位置関係を算出すれば、パッチに含まれる人体の形状に対応した人体範囲の形状（大きさを含む）を算出することができる。例えばパッチ６０２の場合、パッチ６０２に含まれる人体の頭と手足との距離関係および位置関係に基づいて、人体範囲の形状を、左右方向に伸びる楕円形状とすることができる。また、頭部に対する人体範囲の相対的な位置や、足に対する人体範囲の相対的な位置も算出することができる。
【００４６】
Ｓ１４では、情報処理装置１００は、撮像画像におけるパッチ位置に基づいて、人体の頭部と推定される尤度のピーク位置を取得する。パッチ６０２の場合、上述したように、パッチの右側に頭部が存在する。したがって、この場合には、パッチ中で最右端に存在する尤度のピーク位置を頭部と判断する。
Ｓ１５では、情報処理装置１００は、Ｓ１４において頭部と判断した尤度のピーク位置に対して、Ｓ１３において算出された形状を有する人体範囲を設定する。図９に示すパッチ６０２の場合、尤度情報５２１から取得される尤度のピーク位置を頭部と判断される。そのため、頭部と判断された尤度のピーク位置に対して設定される人体範囲は、図１２に示す人体範囲７３１ａとなる。
Ｓ１６では、情報処理装置１００は、Ｓ１５において設定された人体範囲に含まれる尤度のピーク位置のうち、頭部以外の尤度のピーク位置を取得する。
【００４７】
Ｓ１７では、情報処理装置１００は、Ｓ１６において頭部以外の尤度のピーク位置を取得できたか否かを判定する。そして、情報処理装置１００は、頭部以外の尤度のピーク位置を取得できたと判定した場合、Ｓ１５において設定された人体範囲に頭部以外の部位が存在すると判定してＳ１８に移行する。一方、情報処理装置１００は、頭部以外の尤度のピーク位置を取得できなかったと判定した場合、Ｓ１５において設定された人体範囲に頭部以外の部位が存在しないと判定してＳ２１に移行する。
Ｓ１８では、情報処理装置１００は、Ｓ１４において取得された頭部の尤度のピーク位置と、Ｓ１６において取得された頭部以外の尤度のピーク位置との距離を算出し、そのピーク間距離が閾値を超えているか否かを判定する。
【００４８】
そして、情報処理装置１００は、Ｓ１８においてピーク間距離が閾値を超えていると判定した場合、Ｓ１９に移行して、頭部以外の尤度のピーク位置は足であると判定し、足に対する人体範囲を算出してからＳ１７に戻る。一方、情報処理装置１００は、Ｓ１８においてピーク間距離が閾値以下であると判定した場合、Ｓ２０に移行して、頭部以外の尤度のピーク位置は肩であると判定し、肩に対する人体範囲を算出してからＳ１７に戻る。
図１２のパッチ６０２の場合、頭部に対する人体範囲７３１ａには、頭部以外の尤度のピーク位置が含まれるため、情報処理装置１００は、尤度のピーク同士の距離を算出する。このとき、算出されたピーク間距離から頭部以外の尤度のピーク位置は足であると判定される。そのため、情報処理装置１００は、足に対する人体範囲として、人体範囲７３２ａを算出する。
なお、情報処理装置１００は、人体範囲７３１ａおよび７３２ａに含まれない尤度のピーク位置は、同一の人体に対する尤度のピーク位置ではないと判断する。情報処理装置１００は、人体範囲７３１ａおよび７３２ａに含まれない尤度のピーク位置についても、上述したＳ１４〜Ｓ２０と同様の処理を実行する。
【００４９】
Ｓ２１では、情報処理装置１００は、Ｓ１１〜Ｓ２０の処理において設定された人体範囲に基づいて和集合領域を決定し、図１１の処理を終了する。図１２に示すパッチ６０２の場合、人体範囲７３１ａと人体範囲７３２ａとの和集合を和集合領域として決定する。
和集合領域が決定した後、情報処理装置１００は、第一の実施形態と同様に、推定人数の補正処理を行う。推定人数の補正処理については第一の実施形態と同様であるため説明は省略する。
【００５０】
このように、本実施形態における情報処理装置１００は、入力画像を撮像した撮像装置の撮像画角および撮像方向の少なくとも一方を含む撮像パラメータを取得し、尤度マップにおける尤度のピーク位置と撮像パラメータとに基づいて、人体範囲を設定する。これにより、人体範囲をより適切に設定することができる。
撮像パラメータに応じて、画像中の人体における頭と手足との距離関係および位置関係は異なる。そのため、撮像パラメータに応じて、人体範囲の形状、人体範囲の大きさ、およびピーク位置に対する人体範囲の相対的な位置を設定することで、画像に含まれる人体の大きさおよび形状に対応した人体範囲を設定することができる。したがって、画像に含まれる人体の数を適切に推定することができる。
【００５１】
また、情報処理装置１００は、ピーク位置に基づいて設定された人体範囲の和集合領域の大きさが閾値以上であるか否かを判定し、和集合領域の大きさが閾値以上であると判定された場合に、ピーク位置と撮像パラメータとに基づいて人体範囲を設定してもよい。具体的には、情報処理装置１００は、和集合領域の大きさが、例えばパッチサイズに対して一定値以上である場合に、当該和集合領域に複数の人体に対して設定された人体範囲が含まれると判定して、設定された人体範囲を補正してもよい。これにより、画像中の推定人数を補正しすぎてしまうことを抑制することができる。
【００５２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１００…情報処理装置、１１１…尤度マップ取得部、１１２…人体範囲算出部、１１３…推定人数補正部、１１４…人体範囲補正部、２００…撮像装置、３００…記憶装置、４００…ネットワーク、１０００…画像解析システム
【図１】
2020140295.tif 000003
【図２】
2020140295.tif 000004
【図３】
2020140295.tif 000005
【図４】
2020140295.tif 000006
【図５】
2020140295.tif 000007
【図６】
2020140295.tif 000008
【図７】
2020140295.tif 000009
【図８】
2020140295.tif 000010
【図９】
2020140295.tif 000011
【図１０】
2020140295.tif 000012
【図１１】
2020140295.tif 000013
【図１２】
2020140295.tif 000014