(57)【要約】【課題】対象物の位置を正確に特定可能とする。【解決手段】画像を、画像の視点からの距離に応じた複数の分割領域に分割し、各分割領域の画像上における対象物の一方の端部の位置を検出する。また、各分割領域に対して設定されている位置係数を用いて、画像上における対象物の他方の端部の位置を算出する。そして、算出された対象物の他方の端部の位置を可視化した処理画像を生成する。分割領域に対して設定されている位置係数を用いて対象物の他方の端部の位置を算出するため、対象物までの距離を計測するような特殊なカメラ装置を用いることなく、対象物の位置を正確に特定可能とすることができる。【選択図】図１
2020027363.tif 000002
【特許請求の範囲】
【請求項１】
画像を、前記画像の視点からの距離に応じた複数の分割領域に分割する分割部と、
各前記分割領域の画像上における対象物の一方の端部の位置を検出する一端部検出部と、
各前記分割領域に対して設定されている位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出部と、
を有する情報処理装置。
【請求項２】
各前記分割領域に対して設定されている前記他方の端部の範囲を示す範囲係数を用いて、前記他方の端部の範囲を算出する範囲算出部を、さらに備えること、
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
算出された前記対象物の他方の端部の位置を可視化した処理画像を生成する生成部を、さらに備えること
を特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記対象物の他方の端部の位置を示すオブジェクトを、算出された範囲に対応する大きさのオブジェクトとして表示した処理画像を生成すること
を特徴とする請求項３に記載の情報処理装置。
【請求項５】
画像上における対象物の一方の端部の位置を検出する一端部検出部と、
固定値とされた位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出部と、
前記位置係数の値を変更して、前記位置算出部で算出される前記他方の端部の位置を変更する位置変更部と、
を有する情報処理装置。
【請求項６】
前記他方の端部の範囲を示す範囲係数の値を変更して、前記他方の端部の範囲を変更する範囲変更部を、さらに備えること、
を特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記対象物の他方の端部の位置を可視化した処理画像を生成する生成部を、さらに備えること
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記生成部は、前記対象物の他方の端部の位置を示すオブジェクトを、変更された範囲に対応する大きさのオブジェクトとして表示した処理画像を生成すること
を特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記オブジェクトの表示色を設定するための色設定部を、さらに備え、
前記生成部は、各前記対象物の他方の端部の位置の密集具合に応じて、設定された色で色分けした前記オブジェクトを表示した前記処理画像を生成すること
を特徴とする請求項４又は請求項８のうち、いずれか一項に記載の情報処理装置。
【請求項１０】
前記オブジェクトの色は、前記画像の視点からの距離に応じた色が設定されており、
前記生成部は、前記画像の視点からの距離に応じた色で生成した前記オブジェクトを表示した前記処理画像を生成すること
を特徴とする請求項４又は請求項８のうち、いずれか一項に記載の情報処理装置。
【請求項１１】
所望の時間帯を設定するための時間帯設定部を、さらに備え、
前記生成部は、設定された時間帯に対応する複数の画像に基づいて、前記処理画像を生成すること
を特徴とする請求項３、請求項４、請求項７又は請求項８のうち、いずれか一項に記載の情報処理装置。
【請求項１２】
前記対象物の一方の端部を囲む大きさで、前記他方の端部まで長さのオブジェクトを前記画像に重畳して表示し、又は、前記対象物の一方の端部を囲む大きさオブジェクトを、前記一方の端部から前記他方の端部にかけて連結させて前記画像に重畳して表示する表示制御部を有すること
を特徴とする請求項１から請求項１１のうち、いずれか一項に記載の情報処理装置。
【請求項１３】
前記画像を生成するカメラ装置と、
請求項１から請求項１２のうち、いずれか一項に記載の情報処理装置と
を有する情報処理システム。
【請求項１４】
分割部が、画像を、前記画像の視点からの距離に応じた複数の分割領域に分割する分割ステップと、
一端部検出部が、各前記分割領域の画像上における対象物の一方の端部の位置を検出する一端部検出ステップと、
位置算出部が、各前記分割領域に対して設定されている位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出ステップと
を有する情報処理方法。
【請求項１５】
一端部検出部が、画像上における対象物の一方の端部の位置を検出する一端部検出ステップと、
位置算出部が、固定値とされた位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出ステップと、
算出制御部が、位置変更部により変更された前記位置係数の値に基づいて、前記画像上における前記対象物の他方の端部の位置を再算出するように前記位置算出部を制御する算出制御ステップと
を有する情報処理方法。
【請求項１６】
コンピュータを、
画像を、前記画像の視点からの距離に応じた複数の分割領域に分割する分割部と、
各前記分割領域の画像上における対象物の一方の端部の位置を検出する一端部検出部と、
各前記分割領域に対して設定されている位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出部として機能させること、
を特徴とする情報処理プログラム。
【請求項１７】
コンピュータを、
画像上における対象物の一方の端部の位置を検出する一端部検出部と、
固定値とされた位置係数を用いて、前記画像上における前記対象物の他方の端部の位置を算出する位置算出部と、
位置変更部により変更された前記位置係数の値に基づいて、前記画像上における前記対象物の他方の端部の位置を再算出するように前記位置算出部を制御する算出制御部として機能させること
を特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【０００２】
近年、撮影画像データから認識した人物の動線及び滞留を分析した分析結果が、店舗運営、商品企画又はマーケティング活動等に反映されている。例えば、特許文献１（特開２０１１−６１５１１号公報）には、監視カメラと画像処理技術を組み合わせた監視システムが開示されている。また、特許文献２（特開２００９−１３４６８８号公報）には、人物の動線及び滞留をヒートマップ画像により表すシステムが開示されている。
【０００３】
店舗又はイベント会場等の現場を撮影した撮影画像に、人物の動線及び滞留を表すヒートマップ画像をマッピングして表示することで、閲覧者は、ヒートマップ画像に基づいて、現場の人物の動線及び滞留箇所を把握することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えばヒートマップ画像等の処理画像は、人物の頭部の検出結果に基づいて作成される。このため、手前の人物の頭の位置と、奥側の人物の頭の位置とが重なっていた場合、人が居た場所を正しく表現することが困難となる問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、対象物の位置を正確に特定できるような情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、画像を、画像の視点からの距離に応じた複数の分割領域に分割する分割部と、各分割領域の画像上における対象物の一方の端部の位置を検出する一端部検出部と、各分割領域に対して設定されている位置係数を用いて、画像上における対象物の他方の端部の位置を算出する位置算出部とを有する。
【発明の効果】
【０００７】
本発明によれば、対象物の位置を正確に特定できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態の画像処理システムのシステム構成図である。
【図２】図２は、実施の形態の画像処理システムに設けられている画像処理装置のハードウェア構成図である。
【図３】図３は、実施の形態の画像処理システムで用いる全天球カメラ画像を複数の分割領域に分割した例を示す図である。
【図４】図４は、固定値とされた足位置算出係数で算出された各人物の足の位置を示す図である。
【図５】図５は、足位置算出係数の値の変更操作を説明するための図である。
【図６】図６は、分割領域毎に設定されている足位置算出係数で各人物の足の位置を算出する動作の流れを示すフローチャートである。
【図７】図７は、分割領域毎に設定されている足位置算出係数で算出された各人物の足の位置を示す図である。
【図８】図８は、各人物の足の位置の検出結果の表示画面の一例を示す図である。
【図９】図９は、分割領域毎に設定されている人物範囲算出係数で各人物の範囲を算出する動作の流れを示すフローチャートである。
【図１０】図１０は、各人物範囲を一定の範囲に固定した場合に生ずる不都合を説明するための図である。
【図１１】図１１は、各人物範囲の調整動作を説明するための図である。
【図１２】図１２は、各人物範囲の調整後の画像を示す図である。
【図１３】図１３は、指定した時間帯の全天球カメラ画像に基づいて生成されたヒートマップ画像の一例を示す図である。
【図１４】図１４は、指定した色で生成されたオブジェクトが表示されたヒートマップ画像を示す図である。
【図１５】図１５は、全天球カメラ画像からの距離（視点からの距離）に対応する色で生成されたオブジェクトが表示されたヒートマップ画像を示す図である。
【発明を実施するための形態】
【０００９】
以下、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムの一例となる実施の形態を説明する。
【００１０】
（システム構成）
図１は、実施の形態の画像処理システムのシステム構成図である。この図１に示すように実施の形態の画像処理システムは、全天球カメラ装置１と、画像処理装置２と、表示部３とを有している。
【００１１】
（全天球カメラ装置の構成）
全天球カメラ装置１は、全天球パノラマ画像（３６０度カメラ画像）を撮像可能なカメラ装置となっている。全天球カメラ装置１は、それぞれ魚眼レンズを備えた２つの撮像系で前側及び後側の半球画像を撮像する。全天球カメラ装置１の合成部は、前側及び後側の半球画像を合成することで、いわゆるメルカトル画像を生成する。このメルカトル画像は、例えばＯｐｅｎＧＬ  ＥＳ（Open  Graphics  Library  for  Embedded  Systems）等により、球面を覆うように貼り付けられ、エクイレクタングラー形式（正距円筒図法）の全天球パノラマ画像に加工される。
【００１２】
さらに、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。このため、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像を表示するように加工される。これにより、人間に違和感を与えない全天球パノラマ画像とすることができる。この全天球パノラマ画像が画像処理装置２に供給される。なお、この例では、全天球カメラ装置１を用いることとしたが、通常の画角のカメラ装置を用いてもよい。
【００１３】
（画像処理装置の構成）
画像処理装置２は、画像取得部１１、領域分割部１２、人物検出部１３、人物位置範囲算出部１４、ヒートマップ作成部１５、表示制御部１６、位置設定部１７、範囲設定部１８、時間帯設定部１９、色設定部２０及び距離別色設定部２１を有している。
【００１４】
画像取得部１１は、全天球カメラ装置１からの全天球パノラマ画像を取得する。領域分割部１２は、分割部の一例であり、全天球パノラマ画像を、全天球カメラ装置１からの距離に応じて複数の領域（分割領域）に分割する。人物検出部１３は、全天球パノラマ画像に写っている人物を検出する。人物は、対象物の一例である。また、人物の頭部は、一方の端部の一例であり、人物の足は、他方の端部の一例である。
【００１５】
人物位置範囲算出部１４は、位置算出部及び範囲算出部の一例であり、分割領域毎に設定されている位置パラメータ（足位置算出係数）に基づいて、人物検出部１３で算出された人物の足の位置を算出する。位置パラメータ（足位置算出係数）は、位置係数の一例である。また、人物位置範囲算出部１４は、分割領域毎に設定されている範囲パラメータ（重み付け係数）に基づいて、人物検出部１３で算出された人物の範囲を算出する。範囲パラメータ（重み付け係数）は、範囲係数の一例である。
【００１６】
ヒートマップ作成部１５は、生成部の一例であり、人物位置範囲算出部１４により補正された人物の足の位置及び人物が位置している範囲に基づいて、人物の動き等を色分けして可視化したヒートマップを作成する。また、ヒートマップ作成部１５は、時間帯設定部１９で設定された時間帯に対応するヒートマップを作成し、色設定手段で設定された色に対応するヒートマップを作成し、距離別色設定部２１で設定された全天球カメラ装置１からの距離に対応する色を用いたヒートマップを作成する。
【００１７】
表示制御部１６は、位置パラメータ（足位置算出係数）及び範囲パラメータ（重み付け係数）の変更操作画面を、液晶モニタ装置等の表示部３に表示する。また、表示制御部１６は、ヒートマップ作成部１５で作成されたヒートマップを表示部３に表示する。
【００１８】
なお、この例では、検出の対象物として人物を検出することとして説明を進めるが、この他、動物等の他の生物、車両、船舶、航空機、さらには食品等を対象物としてもよい。
【００１９】
（画像処理装置のハードウェア構成）
図２は、画像処理装置２のハードウェア構成を示す図である。この図２に示すように、画像処理装置２は、ＣＰＵ（Central  Processing  Unit）２１、ＲＯＭ（Read  Only  Memory）２２、ＲＡＭ（Random  Access  Memory）２３、ＨＤＤ（Hard  Disk  Drive）２４、入出力インタフェース（入出力Ｉ／Ｆ）２５、及び、通信部２６を有している。
【００２０】
入出力Ｉ／Ｆ２５には、上述の全天球カメラ装置１及び表示部３の他、キーボード装置及びマウス装置等の操作部２７が接続されている。操作者は、キーボード装置又はマウス装置を操作することで、全天球カメラ画像に写っている人物の足の位置及び足の範囲の調整等を行う。
【００２１】
ＨＤＤ２４には、ヒートマップ作成プログラムが記憶されている。また、ＨＤＤ２４には、位置設定部１７で設定される位置パラメータ（足位置算出係数）、範囲設定部１８で設定される範囲パラメータ（重み付け係数）、及び、全天球カメラ装置１から取得された全天球パノラマ画像の画像データが記憶されている。
【００２２】
ＣＰＵ２１は、ＨＤＤ２４に記憶されているヒートマップ作成プログラムを実行することで、図１に示した画像取得部１１〜距離別色設定部２１をソフトウェアで実現する。なお、この例では、画像取得部１１〜距離別色設定部２１をソフトウェアで実現することとして説明を進めるが、画像取得部１１〜距離別色設定部２１のうち、一部又は全部を、ＩＣ（Integrated  Circuit）等のハードウェアで実現してもよい。
【００２３】
また、ヒートマップ作成プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ヒートマップ作成プログラムは、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ヒートマップ作成プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、機器内のＲＯＭ等に予め組み込んで提供してもよい。
【００２４】
（ヒートマップの作成動作）
次に、このような構成を有する実施の形態の画像処理システムにおけるヒートマップの作成動作を説明する。まず、画像取得部１１により、全天球カメラ装置１で撮像された全天球パノラマ画像、又は、ＨＤＤ２４に記憶されている全天球パノラマ画像の画像データが取得されると、表示制御部１６は、取得された全天球パノラマ画像を、例えば図３に示すように表示部３に表示する。また、領域分割部１２は、図３に示すように、全天球カメラ装置１からの距離に応じて、全天球パノラマ画像を長手方向に沿った横長の複数の分割領域に分割する。
【００２５】
具体的には、全天球パノラマ画像は、分割領域Ｒ５→分割領域Ｒ１にかけて全天球カメラ装置１からの距離が遠くなる。領域分割部１２は、この全天球パノラマ画像の特徴に基づいて、全天球パノラマ画像は、分割領域Ｒ１〜分割領域Ｒ５に分割する。表示制御部１６は、領域分割部１２の分割位置に対応する横線を、図３に示すように全天球パノラマ画像に重畳させて表示する。
【００２６】
（足位置算出係数が固定値の場合の足位置算出動作）
次に、人物検出部１３は、分割領域Ｒ１〜Ｒ５毎に人物を検出し、人物位置範囲算出部１４が、固定値となっている足位置算出係数に基づいて人物の足の位置を特定する。この特定された人物の足の位置は、位置設定部１７により調整可能となっている。
【００２７】
すなわち、人物検出部領域１３は、領域分割部１２から各分割領域の画像データを取得する。各分割領域の画像データを取得すると、人物検出部１３は、分割領域毎に、画像データの天頂方向を判断して人物の顔を含む頭部（先端部の一例）を検出する。人物位置範囲算出部１４は、検出された頭部の座標、大きさ、及び、ＨＤＤ２４に記憶されている足位置算出係数（この例の場合は、β＝３）に基づいて、人物の足（後端部の一例）の位置を算出する。
【００２８】
具体的には、人物検出部１３は、以下の数式に基づいて、人物の足の位置を算出する。「ｘ１」は、人物の顔の横幅の左端の座標、「ｘ２」は、人物の顔の横幅の右端の座標、「ｙ１」は、人物の顔の縦の長さの上端の座標、「ｘ２」は、人物の顔の縦の長さの下端の座標である。また、「β」は、足位置算出係数であり、頭の大きさの倍数となっている。この例の場合、「β」の値は固定値で「β＝３」となっている。すなわち、この例の場合、頭の位置×３の位置が、足の位置として特定されるようなっている。
【００２９】
足の位置のｘ座標＝ｘ１＋（（顔の位置（ｘ１）＋顔の位置（ｘ２））÷２）
【００３０】
足の位置のｙ座標＝ｙ１＋（（顔の位置（ｙ２）−顔の位置（ｙ１））×β）
【００３１】
表示制御部１６は、このような算出結果に基づいて、例えば図４に示すように頭部の位置を囲む実線の四角の枠（オブジェクト）、及び、実線の四角の枠と同じ大きさで、足位置算出係数に対応する個数分の点線の四角の枠を、全天球パノラマ画像に重畳させた処理画像を表示する。なお、この図４は、実線の四角の枠及び点線の四角の枠が見やすいように、各分割領域Ｒ１〜Ｒ５を示す横線は図示していない。
【００３２】
また、この図４は、「β＝３」の固定値の足位置算出係数で人物の足の位置を特定した例である。この図４において、実線の四角は、人物の頭部の位置を示し、点線の四角は、頭部の何倍離れた位置を足位置として特定しているか、ということを示している。この例の場合、足位置算出係数であるβ＝３であるため、頭部から点線の四角３つ分離れた位置が、足位置として特定されたことを示している。
【００３３】
人物検出部１３は、このような人物の頭部及び足の位置を検出する動作を、同じ分割領域の全天球カメラ画像に写っている全ての人物に対して行う。また、人物検出部１３は、このような人物の頭部及び足の位置を検出する動作を、全ての分割領域Ｒ１〜Ｒ５に対して行う。各人物の足の位置を示す足位置情報（及び後述する人物範囲を示す人物範囲情報）は、画像データの識別番号、画像データのファイル名、画像データの撮像日時、顔識別情報等に関連付けされて、ＨＤＤ２４の人物画像管理テーブルに記憶されて管理される。
【００３４】
（足の位置の補正動作）
ここで、足位置算出係数を「β＝３」に固定することで、頭部から点線の四角３つ分、離れた位置が自動的に足位置として特定される。しかし、足位置算出係数を固定値とすると、例えば図４の手前の人物等のように、特定された足の位置が不正確となる場合がある。すなわち、図４の手前の人物の場合、実際には、頭部から点線の四角２つ分、離れた位置が足の位置であるが、足位置算出係数を固定値とすることで、頭部から点線の四角３つ分離れた位置が足の位置として、誤って特定されていることがわかる。
【００３５】
このような場合、操作者は、位置設定部１７を操作して、足位置算出係数（位置パラメータ）の値を調整する。この指定がされると、表示制御部１６は、図５（ａ）に示すように、分割領域毎に足位置算出係数を調整するためのスライドバー（位置変更部の一例）を表示する。このスライドバーは、いわゆるソフトウェアキーとなっており、マウス装置等で左方向にドラッグ操作（移動操作）すると、表示制御部１６は、このドラッグ操作量に応じて、図５（ｂ）に示すように分割領域Ｒ３に対応するスライドバーを左側にドラッグ操作すると、人物上に表示している点線の四角の枠を、一つずつ消去する。反対に、マウス装置等で分割領域Ｒ３に対応するスライドバーが右方向にドラッグ操作（移動操作）されると、表示制御部１６は、このドラッグ操作量に応じて、図５（ｃ）に示すように人物上に表示している点線の四角の枠を、一つずつ増やして表示する。
【００３６】
すなわち、操作者は、点線の四角の枠の数を、人物の足の位置に合致するように調整する場合、その人物の頭部が写っている分割領域のスライドバーを操作して、点線の四角の枠の数を、人物の足の位置に合致した数とする。
【００３７】
例えば、図４の例では、足位置算出係数が「β＝３」で固定されていたため、手前の人物（例えば、分割領域Ｒ２やＲ３に写っている人物）の足の位置が誤って特定されていた。この場合、操作者は、図５に示すように手前の人物の頭部が写っている分割領域Ｒ２に対応するスライドバーを、点線の四角の枠一つ分、左方向にスライド操作する。このスライド操作を検出すると、人物位置範囲算出部１４は、スライド操作で指定された足位置算出係数を認識する。図４の例の場合、スライドバーが、点線の四角の枠一つ分、左方向にスライド操作されたため、「β＝２」と認識する。
【００３８】
人物位置範囲算出部１４は、人物の頭部の座標と、スライドバーの操作から認識した足位置算出係数とに基づいて、人物の足の位置を再算出する。表示制御部１６は、この再算出結果に基づいて、図５（ａ）に示すように、それまで３つ表示していた点線の四角の枠を、２つに削減して表示する。これにより、点線の四角の枠の数を、人物の足の位置に合致した数とすることができる。すなわち、人物の足の位置を、正確な位置に補正することができる。
【００３９】
（カメラからの距離に応じた値の足位置算出係数を用いた足位置算出動作）
次に、上述の足位置算出手法の場合、固定値の足位置算出係数を用いて人物の足の位置を算出し、手動で足位置の補正を行う例であった。しかし、以下に説明するように、全天球カメラ装置１からの距離（＝視点からの距離）に応じた足位置算出係数を用いてもよい。
【００４０】
この場合、ＨＤＤ２４には、分割領域Ｒ１〜Ｒ５毎にそれぞれ足位置算出係数（位置パラメータ）が記憶されている。各分割領域Ｒ１〜Ｒ５の足位置算出係数は、それぞれ全天球カメラ装置１からの距離に応じた値に設定されている。
【００４１】
図６は、全天球カメラ装置１からの距離に応じた値の足位置算出係数を用いた足位置算出動作の流れを示すフローチャートである。このフローチャートにおいて、まず、ステップＳ１では、人物検出部１３が、領域分割部１２から各分割領域Ｒ１〜Ｒ５の画像データを取得する。各分割領域の画像データを取得すると、人物検出部１３は、ステップＳ２において、画像データの天頂方向を判断して人物の顔を含む頭部を検出する。なお、ステップＳ３に示すように、人物検出部１３が自動で又はユーザが手動で、人物が含まれる画像領域の設定を行ってもよい。
【００４２】
次に、ステップＳ４では、人物位置範囲算出部１４が、分割領域Ｒ１〜Ｒ５のうち、人物検出部１３で検出された人物の頭部が含まれる分割領域を特定する。また、人物位置範囲算出部１４は、ステップＳ５において、人物の頭部が含まれる分割領域（＝対象領域）に設定されている足位置算出係数をＨＤＤ２４から読み出す。上述のように、この足位置算出係数は「β」の値であり、頭部を囲む枠（オブジェクト）の何倍の位置を人物の足の位置とするか、ということを示す値である。
【００４３】
ステップＳ５では、人物位置範囲算出部１４が、頭部座標と、ＨＤＤ２４から読み出した、対象領域の足位置算出係数に基づいて、人物の足の位置を算出する。
【００４４】
具体的には、人物位置範囲算出部１４は、図７に示すように全天球カメラ画像の手前側に写っている人物に対しては「β＝３」を適用し、全天球カメラ画像の奥側に写っている人物に対しては「β＝１」を適用する等のように、全天球カメラ装置１からの距離に応じた足位置算出係数を用いる。人物位置範囲算出部１４は、このような足位置算出係数を用いて、以下の数式に基づく演算を行うことで、全天球カメラ装置１からの距離に応じた各人物の足位置を算出する。なお、一例ではあるが足位置算出係数は、「β１＝３」、「β２＝５」に設定されている。
【００４５】
手前の人物の足のｘ座標＝ｘ１＋（（顔の位置（ｘ１）＋顔の位置（ｘ２））÷２）
【００４６】
手前の人物の足のｙ座標＝ｙ１＋（（顔の位置（ｙ２）−顔の位置（ｙ１））×β１）
【００４７】
奥側の人物の足のｘ座標＝ｘ１＋（（顔の位置（ｘ１）＋顔の位置（ｘ２））÷２）
【００４８】
奥側の人物の足のｙ座標＝ｙ１＋（（顔の位置（ｙ２）−顔の位置（ｙ１））×β２）
【００４９】
表示制御部１６は、このような演算結果に基づいて、例えば図７に示すように、上述の実線の四角の枠（オブジェクト）、及び、点線の四角の枠を、全天球カメラ画像に写っている人物に重畳した処理画像を表示する。この図７からわかるように、全天球カメラ装置１からの距離が近い人物である、手前の人物に対しては、点線の四角の枠が２つ表示される。また、全天球カメラ装置１からの距離が中距離程度の人物に対しては、点線の四角の枠が３つ表示される。また、全天球カメラ装置１からの距離が遠い人物である奥側の人物に対しては、点線の四角の枠が４つ表示される。
【００５０】
このように、全天球カメラ装置１からの距離に応じた足位置算出係数を用いることで、各人物の足の位置を正確に特定することができる。なお、各人物の足の位置が誤って特定されている場合、操作者は、位置設定部１７を操作して、位置パラメータ（足位置算出係数）の調整を指定し、図５を用いて説明したスライドバーを用いて各人物の足の位置を再調整可能なことは、上述のとおりである。
【００５１】
（人物の足の位置の検出結果の表示）
次に、表示制御部１６は、人物の足の位置を検出すると、又は、人物の足の位置が補正（再調整）されると、図８（ａ）に示す第１の表示例、又は、図８（ｂ）に示す第２の表示例のように、人物の足の位置を示す略長方形状の枠（オブジェクト）を、全天球カメラ画像に重畳させた処理画像を表示する。図８（ａ）に示す第１の表示例は、各人物の頭部から足までを、一つの略長方形状の枠で囲んで示した例である。図８（ｂ）に示す第２の表示例は、各人物の頭部の大きさの略正方形状の枠（オブジェクト）を、頭部から足まで連結させて（連続して）表示した例である。なお、オブジェクトの形状は、上述の長方形状の他、円形状、三角形状又は五角形以上の多角形状等でもよい。
【００５２】
（人物範囲の算出動作）
次に、上述のように全天球カメラ画像に写っている人物の足の位置が特定されると、人物位置範囲算出部１４は、特定された足の位置に基づいて、人物が居たとみなす範囲である人物範囲を算出する。図９のフローチャートは、人物範囲を算出するまでの動作の流れを示すフローチャートである。この図９のフローチャートにおいて、上述のように人物の足の位置が算出され（ステップＳ１１）、又は、自動的或いはユーザの操作により画像領域が設定されると、人物位置範囲算出部１４は、人物の足元が含まれる領域（対象領域）を特定する（ステップＳ１３）。
【００５３】
次に、人物位置範囲算出部１４は、対象領域に対して指定されている人物範囲算出係数（範囲パラメータ）をＨＤＤ２４から読み出す（ステップＳ１４）。すなわち、人物範囲算出係数は、分割領域毎に全天球カメラ装置１からの距離に応じた値が予め定められており、人物位置範囲算出部１４は、対象領域となる分割領域に予め定められている人物範囲算出係数を、例えばＨＤＤ２４等の記憶部から読み出す。この人物範囲算出係数（範囲パラメータ）は、人物の足の位置を中心とする円の直径に対応する係数となっている。換言すると、人物範囲算出係数（範囲パラメータ）は、足の位置を中心として、どのくらいの直径（大きさ）の円を人物の足の範囲とするか、ということを設定するための係数となっている。
【００５４】
次に、人物位置範囲算出部１４は、人物の足の位置の座標と、ＨＤＤ２４から読み出した人物範囲算出係数（範囲パラメータ）に基づいて、人物範囲を算出する。表示制御部１６は、人物位置範囲算出部１４で算出された範囲を示す円を、全天球カメラ画像に重畳した処理画像を表示する。これにより、全天球カメラ画像上に人物の足の範囲を表示できる。
【００５５】
図１０は、一定値（固定値）とされた人物範囲算出係数（範囲パラメータ）を用いて算出された人物範囲の表示例である。すなわち、図１０は、円の直径が一定値に固定されている場合における、人物範囲の表示例である。この図１０に示すように、人物範囲算出係数（範囲パラメータ）が一定値の場合、表示制御部１６により人物範囲として表示される円は、全て同径の円となる。各人物範囲を同径の円で示すと、図１０の手前の枠で囲んで示すように、全天球カメラ画像の手前側の人物の円は重ならない場合が多い。しかし、図１０の中ほどの枠で囲んで示すように、人物の位置が奥側となるほど、各人物範囲を示す円が重なって表示される不都合を生ずる。各人物範囲を示す円が重なると、同じ人数でありながら、混雑具合が増して見える不都合を生ずる。
【００５６】
（人物範囲算出係数の調整動作）
このため、実施の形態の画像処理システムでは、図１に示す範囲設定部１８で、分割領域Ｒ１〜Ｒ５毎に、人物範囲を示す円の直径を調整可能（変更可能）となっている。すなわち、範囲設定部１８を介して、人物範囲の変更が指示されると、表示制御部１６は、図１１（ａ）に示すように、各分割領域を示した全天球カメラ画像、及び、分割領域毎に人物範囲算出係数（範囲パラメータ）を調整するためのスライドバー（範囲変更部の一例）を、表示部３に表示する。
【００５７】
このスライドバーは、いわゆるソフトウェアキーとなっており、マウス装置等で左方向にドラッグ操作（移動操作）すると、人物位置範囲算出部１４は、このドラッグ操作量に応じて徐々に小さな値となる人物範囲算出係数（範囲パラメータ）を用いて、円の大きさを再演算する。表示制御部１６は、再演算された円を全天球カメラ画像に重畳した処理画像を表示する。これにより、分割領域Ｒ３に対応するスライドバーを左方向にドラッグ操作することで、図１１（ｂ）に示すように所望の分割領域に写っている人物範囲を示す円の大きさを徐々に小さな円に変更することができる。
【００５８】
反対に、マウス装置等で右方向にドラッグ操作（移動操作）すると、人物位置範囲算出部１４は、このドラッグ操作量に応じて徐々に大きな値となる人物範囲算出係数（範囲パラメータ）を用いて、円の大きさを再演算する。表示制御部１６は、再演算された円を全天球カメラ画像に重畳した処理画像を表示する。これにより、分割領域Ｒ３に対応するスライドバーを右方向にドラッグ操作することで、図１１（ｃ）に示すように所望の分割領域に写っている人物範囲を示す円の大きさを徐々に大きな円に変更することができる。
【００５９】
すなわち、変更前の人物範囲算出係数（範囲パラメータ）は、予め定められた値（デフォルト値）となっている。人物位置範囲算出部１４は、スライドバーが左方向にドラッグ操作されると、デフォルト値に対して、徐々に小さな値の人物範囲算出係数（範囲パラメータ）を乗算処理して、円の径の値を小さな値とする。また、人物位置範囲算出部１４は、スライドバーが右方向にドラッグ操作されると、デフォルト値に対して、徐々に大きな値の人物範囲算出係数（範囲パラメータ）を乗算処理して、円の径の値を小さな値とする。これは、人物位置範囲算出部１４が、デフォルト値に対して、スライドバーの操作方向及び操作量に対応する重み付け処理を行っていることを意味する。
【００６０】
表示制御部１６は、スライドバーの操作方向及び操作量に対応する重み付け処理に基づいて、人物範囲を示す円を全天球カメラ画像上に表示する。これにより、例えば図１２に手前の枠で囲んで示す人物の人物範囲を示す円を大きくし、図１２の中ほどに枠で囲んで示す人物の人物範囲を示す円を小さくすることができる。分割領域Ｒ１〜Ｒ５毎に各人物の人物範囲を示す円の大きさを調整することで、全天球カメラ装置１からの距離（＝視点からの距離）毎に、混雑具合の見え方を調整することができる。このため、全天球カメラ画像上に写っている人物の混雑具合を、全天球カメラ画像を見るユーザに対して正確に認識させることができる。
【００６１】
（ヒートマップの作成動作）
次に、ヒートマップ作成部１５は、上述のように算出された各人物の足の位置及び人物範囲に基づいて、処理画像の一例であるヒートマップ画像を作成する。具体的には、ヒートマップ作成部１５は、全天球カメラ装置１で所定時間毎に撮像を行うことで得られた時系列の複数の画像データに基づいて、例えば図１３（ａ）及び図１３（ｂ）に示すように、各人物の足の位置及び人物範囲を所定の色の濃淡で現わすことで、全天球カメラ画像上の人物の混雑具合を可視化したヒートマップ画像を作成する。表示制御部１６は、作成されたヒートマップ画像を表示部３に表示する。
【００６２】
（時間帯に対応するヒートマップの作成動作）
ここで、実施の形態の画像処理システムでは、指定された時間帯のヒートマップ画像を作成して表示可能となっている。具体的には、ユーザにより、図１に示す時間帯設定部１９が操作されると、表示制御部１６は、図１３（ａ）及び図１３（ｂ）に示すように、全天球カメラ画像と共に、時間帯を指定するためのスライドバーを表示部３に表示する。ユーザは、このスライドバーを操作して、所望の時間帯を指定する。この図１３では、ある指定された日にちの２４時間のうち、時間帯をさらに指定できるように設定している。なお、日にちを指定するための操作画面は割愛している。また、この時間帯を指定するスライドバーの間隔を９時から１７時までに設定し、又は、２０時から翌日の８時までと設定することも可能である。
【００６３】
ヒートマップ作成部１５は、ＨＤＤ２４に記憶されている画像データのうち、ユーザから指定された時間帯に撮像された画像データ、分割領域毎の各人物の足の位置及び人物範囲に基づいて、ユーザから指定された時間帯の人物の混雑具合を可視化したヒートマップ画像を作成する。表示制御部１６は、作成されたヒートマップ画像を表示部３に表示する。
【００６４】
図１３（ａ）に示すヒートマップ画像は、午前３時〜午後２３時の時間帯のヒートマップ画像である。また、図１３（ｂ）に示すヒートマップ画像は、午後１６時〜午後２３時の時間帯のヒートマップ画像である。このように、時間帯を指定可能とすることにより、所望の時間帯の混雑具合等を検証可能とすることができる。
【００６５】
なお、図１２に示したヒートマップ画像は、各人物の足の位置及び人物範囲を円で表示した例であった。これに対して、図１３（ａ）及び図１３（ｂ）に示すヒートマップ画像は、各人物の足の位置及び人物範囲を、所定の色及び透明度の円で表示した例である。このように、各人物の足の位置及び人物範囲を、所定の色及び透明度の円で表示すると、指定された時間帯に対応する混雑具合をグラデーション表示することができ、時間帯に応じた混雑具合を認識させ易くすることができる。
【００６６】
（指定された色を用いたヒートマップの作成動作）
次に、上述した各人物の足の位置及び人物範囲の円の色の指定は、図１に示す色設定部２０で行う。色設定部２０を介して色の設定が指示されると、表示制御部１６は、図１４（ａ）及び図１４（ｂ）に示すように、全天球カメラ画像と共に、分割領域Ｒ１〜Ｒ５毎の各人物の足の位置及び人物範囲の円の色を指定するためのチェックボックスを表示部３に表示する。一例ではあるが、チェックボックスとしては、青、緑、黄、橙及び赤を指定するためのチェックボックスが設けられている。ユーザは、所望の色のチェックボックスに、チェックを入れる操作を行う。図１４（ａ）は、青、緑、黄、橙及び赤の全て色のチェックボックスに、チェックが入れられた状態を示している。図１４（ｂ）は、青及び赤の色のチェックボックスに、チェックが入れられた状態を示している。
【００６７】
ヒートマップ作成部１５は、ユーザから指定された色のうち、各人物の足の位置の密集具合から検出される混雑具合に応じた色を用いて、各人物の足の位置及び人物範囲を示す円のオブジェクトを生成する。また、ヒートマップ作成部１５は、オブジェクトは、所定の透明度で生成する。そして、ヒートマップ作成部１５は、このオブジェクトを重畳した処理画像、すなわち、ヒートマップ画像を生成する。表示制御部１６は、生成されたヒートマップ画像を表示部３に表示する。これにより、混雑具合をグラデーション表示することができ、ユーザに対して混雑具合を認識させ易くすることができる。なお、指定する色を多くすることでグラデーションが分かり易くなるため、ユーザに対して混雑具合をさらに認識させ易くすることができる。
【００６８】
また、円の透明度は、例えば５０％又は３０％等の固定値となっている。円の透明度は、例えばスライドバーの操作又は数値の入力等により変更可能としてもよい。
【００６９】
（距離に応じて色分けしたヒートマップの作成動作）
次に、実施の形態の画像処理システムでは、全天球カメラ装置１からの距離（＝視点からの距離）に応じて色分けしたオブジェクトを表示した処理画像、すなわち、ヒートマップ画像を生成して表示可能となっている。換言すると、分割領域Ｒ１〜Ｒ５毎に色分けしたオブジェクトを表示したヒートマップ画像を生成して表示可能となっている。
【００７０】
一例ではあるが、全天球カメラ画像の手前側に相当する距離（近距離）に対しては、人物の足の位置及び人物範囲を例えば５０％の透明度の赤色の円のオブジェクトを表示するように、円の透明度及び色がデフォルトで設定されている。また、全天球カメラ画像の中ほどの距離（中距離）に対しては、人物の足の位置及び人物範囲を例えば５０％の透明度の黄色の円のオブジェクトで表示するように、円の透明度及び色がデフォルトで設定されている。また、全天球カメラ画像の奥側に相当する距離（遠距離）に対しては、人物の足の位置及び人物範囲を例えば５０％の透明度の緑色の円のオブジェクトで表示するように、円の透明度及び色がデフォルトで設定されている。
【００７１】
ヒートマップ作成部１５は、図１に示す距離別色設定部２１を介して、全天球カメラ装置１からの距離に応じて色分けしたヒートマップ画像の生成が指示されると、上述のデフォルトの設定に基づいて、近距離の人物の足の位置及び人物範囲を５０％の透明度の赤色の円のオブジェクトを生成し、中距離の人物の足の位置及び人物範囲を５０％の透明度の黄色の円のオブジェクトを生成し、遠距離の人物の足の位置及び人物範囲を５０％の透明度の緑色の円のオブジェクトを生成する。そして、このように全天球カメラ装置１からの距離に応じて色分けされたオブジェクトを表示したヒートマップ画像を生成する。表示制御部１６は、このように生成されたヒートマップ画像を、表示部３に表示する。
【００７２】
図１５は、このようにして生成されたヒートマップ画像の一例である。この図１５から分かるように、人物の足の位置及び人物範囲を、全天球カメラ装置１からの距離に応じて色分けすることで、距離毎の混雑具合を認識し易くすることができる。
【００７３】
なお、この例では、人物の足の位置及び人物範囲の距離に応じた色は、デフォルト設定されていることとしたが、図１４に示したチェックボックス等により、距離毎に所望の色を設定可能としてもよい。
【００７４】
（実施の形態の効果）
以上の説明から明らかなように、実施の形態の画像処理システムは、全天球カメラ装置１で撮影した全天球カメラ画像を、全天球カメラ装置１からの距離（＝視点からの距離）に応じて複数の領域（分割領域）に分割する。そして、分割領域毎に人物を特定して足の位置を算出する。これにより、正確な足の位置を特定することができる。
【００７５】
また、正確な足の位置を特定できるため、人物範囲を正確に算出できる。足の位置及び人物範囲を正確に算出できるため、距離を測定可能な特殊なカメラ装置を用いることなく、人物の特定を正しく行うことができる。特に、混雑具合を正確に反映した処理画像である、例えばヒートマップ画像を作成可能することに利用できる。換言すると、より現実世界の状況を反映した処理画像を生成することができ、ヒートマップ画像として利用することができる。
【００７６】
また、時間帯設定部１９により所望の時間帯を指定することで、時間帯別にヒートマップ画像を検証可能とすることができる。
【００７７】
また、色設定部２０により、人物の足の位置及び人物範囲を示すオブジェクトの色を指定することで、指定した色で色分けされたオブジェクトのヒートマップ画像で、人物の密集具合（混雑具合）等を検証可能とすることができる。
【００７８】
また、ヒートマップ画像に表示するオブジェクトを、全天球カメラ装置１からの距離（＝視点からの距離）に応じた色で色分けして表示することで、人物の密集具合（混雑具合）等を検証可能とすることができる。
【００７９】
最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、上述の実施の形態の例では、全天球カメラ装置１を用いることとしたが、これは、通常の画角が制限されたカメラ装置を用いてもよい。この場合でも、カメラ装置からの距離に応じて撮像画像を分割領域に分割し、分割領域毎に人物の足の位置及び人物範囲を算出することで、上述と同様の効果を得ることができる。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８０】
１  全天球カメラ装置
２  画像処理装置
３  表示部
１１  画像取得部
１２  領域分割部
１３  人物検出部
１４  人物位置範囲算出部
１５  ヒートマップ作成部
１６  表示制御部
１７  位置設定部
１８  範囲設定部
１９  時間帯設定部
２０  色設定部
２１  距離別色設定部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開２０１１−６１５１１号公報
【特許文献２】特開２００９−１３４６８８号公報
【図１】
2020027363.tif 000003
【図２】
2020027363.tif 000004
【図３】
2020027363.tif 000005
【図４】
2020027363.tif 000006
【図５】
2020027363.tif 000007
【図６】
2020027363.tif 000008
【図７】
2020027363.tif 000009
【図８】
2020027363.tif 000010
【図９】
2020027363.tif 000011
【図１０】
2020027363.tif 000012
【図１１】
2020027363.tif 000013
【図１２】
2020027363.tif 000014
【図１３】
2020027363.tif 000015
【図１４】
2020027363.tif 000016
【図１５】
2020027363.tif 000017