(57)【要約】【課題】画像解析による人物追跡の精度を向上させることが可能な、新規かつ改良された画像処理装置、画像処理システム、画像処理方法及びプログラムを提供する。【解決手段】対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、を備える画像処理装置が提供される。【選択図】図１
2016162409.tif 000002
【特許請求の範囲】
【請求項１】
対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、
前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、
センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、
前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、
前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、
を備える画像処理装置。
【請求項２】
前記軌跡データ生成部は、前記他の物体の軌跡データを、前記画像解析の結果に基づいて検出された前記物体の軌跡データに基づいて生成する、請求項１に記載の画像処理装置。
【請求項３】
前記画像解析部は、前記撮像画像上において前記物体が存在する領域を物体領域として検出し、
前記判定部は、前記所定領域と重なる前記物体領域を構成する物体の数を、前記距離データに基づいて判定する、請求項１または２に記載の画像処理装置。
【請求項４】
前記判定部は、前記所定領域と前記物体領域とが重なる領域内の各位置で取得された前記距離データの分布に基づいて、前記物体領域を構成する物体の数を判定する、請求項３に記載の画像処理装置。
【請求項５】
前記記憶部は前記距離データを前記物体の軌跡データと関連付けて時系列で記憶し、
前記判定部は、前記所定領域と重なる前記物体領域を構成する物体の数を、前記記憶部に記憶された前記距離データの時系列変化に基づいて判定する、請求項３または４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記判定部による前記画像解析の結果の前記判定結果に基づいて、前記画像解析部による前記画像解析における前記物体の検出条件を変更する検出条件変更部をさらに備える、請求項３〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記所定領域のうち前記物体領域が存在しない領域における前記距離データの示す距離が所定の基準を満たす場合、
前記検出条件変更部は、前記領域内の画像情報に基づいて、前記検出条件を変更する、請求項６に記載の画像処理装置。
【請求項８】
前記画像解析部による前記画像解析の結果が、前記判定部により所定時間以上連続して誤りであると判定された場合、
前記軌跡データ生成部は、前記距離データにより検出される他の物体の軌跡データを生成する、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記距離データを前記所定領域における高さデータに変換するデータ変換部をさらに備え、
前記判定部は、前記画像解析の結果の正誤を前記高さデータに基づいて判定する、請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記記憶部は、前記撮像画像において検出された前記物体の位置情報に基づいて、前記物体の軌跡データを過去に記憶された前記軌跡データと関連付けて記憶する、請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記記憶部は、前記撮像画像において検出された前記物体を表現する画像情報に基づいて、前記物体の軌跡データを過去に記憶された前記軌跡データと関連付けて記憶する、請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記センサは、レーザ測域センサである、請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、
前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、
センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、
前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、
前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、
を備える画像処理システム。
【請求項１４】
対象空間内を撮像する撮像装置により取得される撮像画像を画像解析するステップと、
前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶するステップと、
センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得するステップと、
前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定するステップと、
前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成するステップと、
を含む画像処理方法。
【請求項１５】
コンピュータを、
対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、
前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、
センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、
前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、
前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近日、撮像装置により取得された画像を解析し、画像に含まれる人物を検出する画像処理技術が広く普及している。このような画像処理技術によれば、例えば、駅、空港、アミューズメントエリア、およびショッピングセンターなどの通路に撮像装置を設置することにより、当該通路を通過する人数を計測することや、当該通路を通過する人物の追跡を行うことが可能である。
【０００３】
ここで、画像処理による人物検出について簡単に説明する。人物検出の方式は、例えば、人物の画像と人物でない画像を統計学習することにより人物の特徴を検出する統計学習に基づく方式や、時間ごとに変化する画像の画素の変化に基づいて人物を検出するオプティカルフロー方式などが挙げられる。
【０００４】
しかし、撮像画像のみによる人物検出による人物追跡は、例えば、環境光の変化や人物の姿勢変化などにより人物を正しく追跡できない問題があった。そのため、撮像画像と他の手法を組み合わせることにより人物追跡の精度を向上させる技術の開発が進められている。例えば、下記特許文献１には、撮像画像と距離画像センサを用いることにより人物追跡の精度を向上させる技術が開示されている。また、下記特許文献２には、レーザ測域センサを用いて人物の位置を特定し、その後、特定された人物の存在する領域を撮像装置の座標系に変換してから画像解析することにより人物を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−７３４５９号公報
【特許文献２】特開２０１３−１５６７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１における人物追跡技術に用いられる距離画像センサにはステレオカメラが用いられているため、撮像画像と同様に、環境光や人物の姿勢の変化等の影響を距離画像センサが受けてしまい、その結果追跡精度が低下する問題があった。また、上記特許文献２における人物特定技術は、レーザ測域センサが計測可能な範囲のみしか適用できず、撮像画像全体をレーザ測域センサの範囲外における人物追跡が困難であった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像解析による人物追跡の精度を向上させることが可能な、新規かつ改良された画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、を備える画像処理装置が提供される。
【０００９】
前記軌跡データ生成部は、前記他の物体の軌跡データを、前記画像解析の結果に基づいて検出された前記物体の軌跡データに基づいて生成してもよい。
【００１０】
前記画像解析部は、前記撮像画像上において前記物体が存在する領域を物体領域として検出し、前記判定部は、前記所定領域と重なる前記物体領域を構成する物体の数を、前記距離データに基づいて判定してもよい。
【００１１】
前記判定部は、前記所定領域と前記物体領域とが重なる領域内の各位置で取得された前記距離データの分布に基づいて、前記物体領域を構成する物体の数を判定してもよい。
【００１２】
前記記憶部は前記距離データを前記物体の軌跡データと関連付けて時系列で記憶し、前記判定部は、前記所定領域と重なる前記物体領域を構成する物体の数を、前記記憶部に記憶された前記距離データの時系列変化に基づいて判定してもよい。
【００１３】
前記画像処理装置は、前記判定部による前記画像解析の結果の前記判定結果に基づいて、前記画像解析部による前記画像解析における前記物体の検出条件を変更する検出条件変更部をさらに備えてもよい。
【００１４】
前記所定領域のうち前記物体領域が存在しない領域における前記距離データの示す距離が所定の基準を満たす場合、前記検出条件変更部は、前記領域内の画像情報に基づいて、前記検出条件を変更してもよい。
【００１５】
前記画像解析部による前記画像解析の結果が、前記判定部により所定時間以上連続して誤りであると判定された場合、前記軌跡データ生成部は、前記距離データにより検出される他の物体の軌跡データを生成してもよい。
【００１６】
前記画像処理装置は、前記距離データを前記所定領域における高さデータに変換するデータ変換部をさらに備え、前記判定部は、前記画像解析の結果の正誤を前記高さデータに基づいて判定してもよい。
【００１７】
前記記憶部は、前記撮像画像において検出された前記物体の位置情報に基づいて、前記物体の軌跡データを過去に記憶された前記軌跡データと関連付けて記憶してもよい。
【００１８】
前記記憶部は、前記撮像画像において検出された前記物体を表現する画像情報に基づいて、前記物体の軌跡データを過去に記憶された前記軌跡データと関連付けて記憶してもよい。
【００１９】
前記センサは、レーザ測域センサであってもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、を備える画像処理システムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、対象空間内を撮像する撮像装置により取得される撮像画像を画像解析するステップと、前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶するステップと、センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得するステップと、前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定するステップと、前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成するステップと、を含む画像処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、対象空間内を撮像する撮像装置により取得される撮像画像を画像解析する画像解析部と、前記画像解析の結果に基づいて検出される前記対象空間内に存在する物体の移動履歴を示す軌跡データを記憶する記憶部と、センサと前記対象空間内の所定範囲との距離を示す距離データを前記センサから取得する距離データ取得部と、前記所定範囲に対応する前記撮像画像内の所定領域における前記画像解析の結果の正誤を前記距離データに基づいて判定する判定部と、前記判定結果に応じて、前記距離データにより検出される他の物体の軌跡データを生成する軌跡データ生成部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００２３】
以上説明したように本発明によれば、画像解析による人物追跡の精度を向上させることが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る画像処理システムの構成を示した図である。
【図２】撮像画像における人物検出の具体例を示した図である。
【図３】本発明の第１の実施形態に係る画像処理装置の構成を示したブロック図である。
【図４】キャリブレーション処理の具体例を示した図である。
【図５】キャリブレーション処理の具体例を示した図である。
【図６】キャリブレーション処理の具体例を示した図である。
【図７】本発明の第１の実施形態に係る画像処理装置による人物検出の具体例を示した図である。
【図８】本発明の第１の実施形態に係る画像処理装置のレーザ測域センサによる検出結果の具体例を示した図である。
【図９】本発明の第１の実施形態に係る画像処理装置による軌跡データの生成の具体例を示した図である。
【図１０】本発明の第１の実施形態に係る画像処理装置による軌跡データの生成の他の具体例を示した図である。
【図１１】本発明の第１の実施形態に係る画像処理装置の動作例を示したフローチャートである。
【図１２】本発明の第２の実施形態に係る画像処理装置の構成を示したブロック図である。
【図１３】本発明の第２の実施形態に係る画像処理装置による人物検出結果の具体例を示した図である。
【図１４】本発明の第２の実施形態に係る画像処理装置による人物検出結果の他の具体例を示した図である。
【図１５】本発明の第２の実施形態に係る画像処理装置の動作例を示したフローチャートである。
【図１６】本発明の各実施形態に係る画像処理装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２７】
＜１．本発明の概要＞
本発明の実施形態に係る画像処理装置１０は、対象空間を撮像する撮像装置２０により取得される撮像画像の画像解析による人物検出結果からその人物の移動履歴を記憶しつつ、上記人物検出結果の正誤をレーザ測域センサ３０により取得された所定範囲の距離データに基づいて判定し、その判定結果に応じて、上記距離データにより検出された他の人物の軌跡データを生成するものである。また画像処理装置１０は、上記判定結果に応じて、撮像画像の人物検出に係る検出条件（画像解析条件）を変更することも可能である。
【００２８】
上記のような画像処理装置１０を備える画像処理システムは、例えば、対象空間に存在する人物の画像解析による検出精度および追跡精度を向上させることが可能である。したがって、本発明の実施形態に係る画像処理システムは、多様な用途に適用可能である。例えば、本発明の実施形態に係る画像処理システムは、駅、空港、アミューズメントエリア、およびショッピングセンターなどの小売店舗における通路を通過する人数をカウントする用途や、上記通路を通過する人物の追跡等の人物監視の用途に適用可能である。以下では、まず、図１を参照して、本発明の実施形態に係る画像処理システムの構成について説明する。
【００２９】
図１は、本発明の実施形態に係る画像処理システムの構成を示した図である。図１で示したように、本発明の実施形態による画像処理システムは、画像処理装置１０と、撮像装置２０と、レーザ測域センサ３０と、を備える。
【００３０】
（画像処理装置）
画像処理装置１０は、撮像装置２０により取得された撮像画像の画像解析により人物検出を行い、レーザ測域センサ３０により取得された距離データに基づいて、上記人物検出の結果を補正し、検出された人物の移動履歴を生成および記憶する。具体的な構成および動作例については後述する。
【００３１】
（撮像装置）
撮像装置２０は、対象空間の撮像画像を取得する。例えば、撮像装置２０は、対象空間から発せられる光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより撮像画像を取得する。撮像装置２０は、例えば、被写体から発せられる光を集光する撮影レンズおよびズームレンズなどの撮像光学系、および、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有してもよい。
【００３２】
（レーザ測域センサ）
レーザ測域センサ３０は、レーザ測域センサ３０と対象空間の所定範囲に存在する物体（例えば人物Ｐ０）または地面との距離を示す距離データを取得する。例えば、レーザ測域センサ３０は、レーザ３１を上記所定範囲に発信し、上記所定範囲に存在する物体または地面と反射したレーザを受信する。そして、レーザ測域センサ３０は、上記レーザ３１の発信時刻と反射したレーザの受信時刻の差分に基づいて、レーザ測域センサ３０と上記物体または地面との距離を測定する。
【００３３】
なお、上記所定範囲とは、レーザ測域センサ３０より発信されるレーザ３１の照射範囲を意味する。上記照射範囲は、例えば、レーザ測域センサ３０がレーザ３１の発信方向を一次元的に、または二次元的に走査することにより決定される範囲でもよい。より具体的には、上記照射範囲は、レーザ測域センサ３０から発信されたレーザ３１の光路がレーザ測域センサ３０の発信方向の変化により移動する範囲となる。本発明の実施形態においては、レーザ測域センサ３０は、レーザ３１の発信方向を一次元的に走査するものと想定して説明する。
【００３４】
例えば、人物Ｐ０が所定範囲を通過しようとすると、人物Ｐ０はレーザ３１の照射を受ける。すると、レーザ測域センサ３０は、レーザ３１が地面に照射されていた場合よりも値の低い距離データを取得する。この距離データの変化により、上記所定範囲に人物が存在するか否かを判定することが可能となる。
【００３５】
なお、上記所定範囲は、必ずしも撮像装置２０により取得される撮像画像の領域全体である必要はなく、上記撮像画像の一部の領域であってもよい。これにより、レーザ測域センサ３０は広域な範囲を計測可能なものである必要がないため、コストを抑えつつ、画像解析の追跡精度を向上させることが可能となる。
【００３６】
なお、本発明の実施形態に係る画像処理システムは、撮像装置２０により取得された撮像画像の画像解析により対象空間に存在する人物を撮像画像上で検出し、上記検出結果の正誤を上記レーザ測域センサ３０により取得された距離データを用いて判定する。そのため、上記撮像装置２０により取得される撮像画像の座標系と、レーザ測域センサ３０の座標系を正確に関連付けることにより、より正確に上記検出結果の正誤を判定することが可能となる。理想的には撮像装置２０の撮像方向とレーザ測域センサ３０のレーザ３１の発信方向とが同軸上にあることが望ましい。しかし、同軸上に設置することが困難である場合は、図１に示したように、撮像装置２０とレーザ測域センサ３０は同一の鉛直線上に設置されることが望ましい。これにより、人物検出の精度を高く維持することが可能である。また、後述するキャリブレーション処理により、撮像装置２０の座標系とレーザ測域センサ３０の座標系とを関連づけることが可能となる。
【００３７】
また、本発明の実施形態に係る画像処理システムは、撮像装置２０は人物検出のために、また、レーザ測域センサ３０は正確な距離データの取得のために、各装置の位置、方向および角度が適切に設定されることが望ましい。例えば、通路に各装置が設置される場合は、各装置は、人物の移動方向に対して、撮像方向の水平方向、およびレーザ３１の発信方向の水平方向が平行となるように設置されることが望ましい。これにより、各装置の人物検出の精度が向上する。
【００３８】
（背景）
ここで、本発明の比較例による人物検出処理を説明する。比較例による人物検出技術は、例えば、人物の画像を機械学習させることにより撮像画像中の人物の特徴を発見する機械学習や、異なる２枚の撮像画像において対応する画素の移動方向および移動量に基づいて人物を検出するオプティカルフロー方式等が存在する。しかし、撮像画像のみによる人物検出は様々な問題があった。
【００３９】
図２は、撮像画像２１における人物検出の具体例を示した図である。撮像画像２１には、人物Ｐ１〜Ｐ３、および検出枠Ｆ１〜Ｆ３が含まれる。比較例による人物検出処理が正常に行われた場合、人物Ｐ１を特定する検出枠Ｆ１が生成される。しかし、例えば、人物Ｐ２およびＰ３が撮像方向に対して前後に重なって移動している場合、または、不図示の背景等が人物の特徴と似ている場合、比較例による人物検出処理は、人物Ｐ２およびＰ３を一人の人物と間違えて検出枠Ｆ２を生成し、および、上記背景もしくは環境光の影響により誤って検出枠Ｆ３を生成する可能性がある。
【００４０】
上記の問題を解決するために、例えば、レーザ測域センサを用いて人物の位置を特定し、その後、特定された人物の存在する領域を撮像装置の座標系に変換してから画像解析することにより人物をより正確に特定する技術等が開示されている。
【００４１】
しかし、上記のレーザ測域センサを用いた人物特定技術においては、レーザ測域センサが計測可能な範囲しか人物を追跡できない問題があった。また、より広域な範囲を計測可能なレーザ測域センサを導入しようとすれば、計測範囲が広域であるほどレーザ測域センサの価格は高価となるため、人物追跡に係るコストが増加するといった問題もあった。
【００４２】
そこで、上記事情を一着眼点にして本発明の実施形態による画像処理装置を創作するに至った。本発明の実施形態による画像処理システムは、コストを低く抑えつつ、かつ、画像解析による人物検出の精度を向上させることが可能である。以下、このような各実施形態について順次詳細に説明する。
【００４３】
＜２．第１の実施形態＞
〔２−１．第１の実施形態に係る画像処理装置の構成〕
図３は、本発明の第１の実施形態に係る画像処理装置１０−１の構成を示したブロック図である。図３に示したように、本発明の第１の実施形態に係る画像処理装置１０−１は、通信部１００と、記憶部１１０と、画像取得部１２０と、画像解析部１２５と、距離データ取得部１３０と、キャリブレーション部１３１と、データ変換部１３５と、判定部１４０と、軌跡データ生成部１５０と、出力部１６０と、を備える。
【００４４】
（通信部）
通信部１００は、撮像装置２０、およびレーザ測域センサ３０とのインタフェースであって、各装置と無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の無線回線や、有線回線により通信する。本発明の実施形態に係る通信部１００は、撮像装置２０により取得された撮像画像、およびレーザ測域センサ３０により取得された距離データを、各装置から受信する。
【００４５】
（記憶部）
記憶部１１０は、画像解析部１２５により検出された人物の移動履歴を示す軌跡データ、データ変換部１３５により出力された高度データ、および軌跡データ生成部１５０により生成された他の人物の軌跡データを記憶する。例えば、記憶部１１０は、画像解析部１２５により検出された人物の位置情報や上記人物の存在する領域を表現する検出枠の座標などを、上記人物の軌跡データとして記憶を開始してもよい。
【００４６】
また、軌跡データ生成部１５０が他の人物の軌跡データを生成する際に、記憶部１１０は画像解析部１２５により検出された人物の軌跡データを軌跡データ生成部１５０に出力してもよい。
【００４７】
さらに、記憶部１１０は、データ変換部１３５から時系列に取得した高さデータを、判定部１４０に出力してもよい。詳しくは後述するが、判定部１４０は、記憶部１１０に記憶された上記時系列に取得した高さデータの変化に基づいて、画像解析部１２５による人物検出結果の正誤を判定することも可能である。
【００４８】
また、記憶部１１０は、撮像画像において検出された人物の軌跡データを過去に記憶された軌跡データと関連付けて記憶してもよい。具体的には、記憶部１１０は、撮像画像において検出された人物の位置情報に基づいて、上記人物の軌跡データを過去に記憶された軌跡データと関連付けて記憶してもよい。例えば、人物の位置情報が前後の時刻で一定の範囲に属している場合、記憶部１１０は、上記人物の現在の軌跡データと過去の軌跡データを関連付けてもよい。これにより、人物の軌跡データを時系列に途切れなく記憶することが可能である。なお上記人物の位置情報は、撮像画像上における座標により特定されてもよいし、撮像画像の座標系に対応する世界座標系における座標により特定されてもよい。
【００４９】
さらに、記憶部１１０は、撮像画像において検出された人物を表現する画像情報に基づいて、上記人物の軌跡データを過去に記憶された軌跡データと関連付けて記憶してもよい。例えば、記憶部１１０は、上記人物を表現する画像情報に含まれる画素の移動量や、人物を特定する特徴量に基づいて上記人物の現在の軌跡データと過去の軌跡データを関連付けてもよい。これにより、人物の軌跡データを時系列に途切れなく記憶することが可能である。
【００５０】
（画像取得部）
画像取得部１２０は、撮像装置２０により撮像された撮像画像を、通信部１００を介して取得する。取得された撮像画像は、画像解析部１２５に出力される。
【００５１】
（画像解析部）
画像解析部１２５は、画像取得部１２０から出力された撮像画像の画像解析を行い、上記撮像画像から人物を検出する。例えば、画像解析部１２５は、上述したように、人物の画像を機械学習させることにより撮像画像中の人物の特徴を発見する機械学習処理により人物を検出してもよい。また、画像解析部１２５は、異なる２枚の撮像画像において対応する画素の移動方向および移動量を推定し、同一の移動傾向を示すオプティカルフローをクラスタリングしたときの上記クラスタリング領域の大きさを利用するオプティカルフロー処理により、人物を検出してもよい。
【００５２】
これにより、例えば、画像解析部１２５は、図２で示したように、検出した人物が存在する領域を表現する検出枠を生成してもよい。なお、検出枠は物体領域の一例である。しかし、例えば、人物Ｐ２およびＰ３が前後で重なって移動していたり、また、不図示の背景が人物の特徴と似ている場合、比較例による人物検出処理は、人物Ｐ２およびＰ３を一人の人物と間違えて検出し、検出枠Ｆ２を生成したり、また、上記背景を人物と間違えて検出し、検出枠Ｆ３を生成する可能性がある。そこで、後述する判定部１４０は、データ変換部１３５より出力される高さデータに基づいて、画像解析部１２５により検出された人物検出結果の正誤を判定する。
【００５３】
（距離データ取得部）
距離データ取得部１３０は、レーザ測域センサ３０により取得された距離データを、通信部１００を介して取得する。取得された距離データは、データ変換部１３５に出力される。
【００５４】
（データ変換部）
データ変換部１３５は、距離データ取得部１３０から取得された距離データを、高さデータに変換する。ここで、距離データを高さデータに変換するために、レーザ測域センサ３０の座標系を撮像装置２０の座標系と関連付けるキャリブレーション処理を行う。データ変換部１３５の説明の前に、座標系のキャリブレーションおよび距離データの取得範囲である所定範囲について、キャリブレーション部１３１の構成とともに説明する。
【００５５】
（キャリブレーション部）
キャリブレーション部１３１は、撮像装置２０により取得した撮像画像内の計測ライン上の任意の点、およびレーザ測域センサ３０の計測ライン上における上記任意の点と対応する点の特徴値に基づいて、レーザ測域センサ３０の座標系と撮像装置２０の座標系と関連付け、計測ライン上に存在する人物の高さデータを算出するためのキャリブレーションデータを生成する。具体的には、キャリブレーション部１３１は、レーザ測域センサ３０により取得された距離データｄ、およびレーザ３１の発信方向を定義する照射角度θを、上記高さデータ、および撮像画像上の座標に対応付けるための、キャリブレーションデータを生成する。そして、キャリブレーション部１３１は、キャリブレーションデータの生成後、上記キャリブレーションデータをデータ変換部１３５に出力する。
【００５６】
図４は、キャリブレーション処理の具体例を示した図である。計測ライン３２Ａは、レーザ測域センサ３０により発信されるレーザ３１が地面に照射される場合の照射範囲を示すラインである。なお、計測ライン３２Ａ上の任意の点とレーザ測域センサ３０とを結ぶ線分により表現される範囲は、所定範囲の一例である。レーザチェッカＣ１〜Ｃ４は、上記距離データを上記撮像画像の座標系の座標に変換するためのパラメータを算出するために用いられるチェッカであり、計測ライン３２Ａ上に設置される。レーザ測域センサ３０により発信されるレーザ３１がレーザチェッカＣ１〜Ｃ４に照射されると、レーザチェッカＣ１〜Ｃ４はレーザ３１を受光する。
【００５７】
例えば、図４に示したように、レーザ測域センサ３０がレーザ測域センサ３０からレーザチェッカＣ２にむけてレーザ３１を発信したとする。このとき、レーザチェッカＣ２がレーザ３１を受光したことが確認された場合、キャリブレーション部１３１は、レーザ測域センサ３０の照射角度θ２およびレーザ測域センサ３０により測定された測定距離ｄ２を記憶する。
【００５８】
図５は、キャリブレーション処理の具体例を示した図である。ここで、図５に示された撮像画像２２は、図２に示した図において撮像装置２０が撮像した撮像画像２１と同一である。撮像画像２２内のレーザチェッカＣ１〜Ｃ４は、図４に示した図におけるレーザチェッカＣ１〜Ｃ４に対応する。また、撮像画像２２内の計測ライン３２Ｂは、図４に示した図における計測ライン３２Ａに対応する。正確なキャリブレーション処理のために、撮像画像２２内には、人物などの障害物が計測ライン３２Ｂ上に存在していない状態であることが望まれる。なお、計測ライン３２Ｂは、所定領域の一例である。
【００５９】
例えば、計測ライン３２Ｂ上に表示されているレーザチェッカＣ２の撮像画像２２の座標系における座標は（ｕ２，ｖ２）である。そしてキャリブレーション部１３１は、θ２を座標（ｕ２，ｖ２）と対応付け、ｄ２を、座標（ｕ２，ｖ２）における高さデータの示す高さｈの値（例えば、計測ライン３２Ａは地面なので、０）と対応付ける。
【００６０】
キャリブレーション部１３１は同様に、レーザチェッカＣ１、Ｃ３、およびＣ４におけるθおよびｄの値を算出し、撮像画像２２の座標系の座標（ｕ，ｖ）および上記座標における高さデータの示す高さｈの値を０と対応付ける。そして、キャリブレーション部１３１は、少なくとも計測ライン３２Ａ上の４箇所における照射パラメータ（θ、ｄ）と対応する計測ライン３２Ｂ上の各箇所の座標（ｕ，ｖ）の値に基づいて、計測ライン３２Ｂ上に存在する物体に照射されたレーザ３１の照射点の高さを算出するための変換パラメータ（キャリブレーションデータ）を生成する。
【００６１】
図６は、キャリブレーション処理の具体例を示した図である。図６に示した左図のグラフ４１は、レーザ測域センサ３０と計測ライン３２Ａとの距離を計測ライン３２Ｂ上の位置に対応する座標ｘの関数で表現したグラフである。レーザ測域センサ３０により計測された距離データは、上記のキャリブレーション部１３１によるキャリブレーション処理により高さデータに変換される。グラフ４２は、レーザ測域センサ３０と対象物との距離から変換された高さデータを示す高さグラフである。なお、グラフ４２は、グラフ４１に示されるレーザ測域センサ３０と計測ライン３２Ａとの距離が変換された高さデータであるので、高さの値は計測ライン３２Ｂ上ですべて０となる。そして、例えば計測ライン３２Ｂ上の任意の点における距離ｄの値が、レーザ測域センサ３０と上記任意の点に対応する計測ライン３２Ａ上の点との距離を下回る場合、レーザ測域センサ３０から発信されたレーザ３１が高さのある物体に照射しているので、高さｈが０以上の値を示すこととなる。
【００６２】
なお、高さグラフ４２のｘ軸は、撮像画像２２内の計測ライン３２Ｂのｘ軸に対応している。つまり、高さグラフにおけるｘ座標の値と、計測ライン３２Ｂにおけるｘ座標の値は、同一である。これにより、計測ライン３２Ｂ上の画像解析による人物検出結果と、高さデータとを対応付けることが可能である。
【００６３】
なお、上記ではレーザチェッカＣ１〜Ｃ４における各座標に基づきキャリブレーションデータが生成される例を説明したが、当該キャリブレーションデータは、撮像装置２０とレーザ測域センサ３０との位置関係、およびレーザ測域センサ３０の照射角度θの時刻変化を示すパラメータに基づいて、人的に設定してもよい。これにより、例えば撮像装置２０およびレーザ測域センサ３０の設置個所が移動しても、上記パラメータの調整により、即時にキャリブレーション処理が実行され得る。
【００６４】
（データ変換部の続き）
図３に戻ると、データ変換部１３５は、キャリブレーション部１３１から出力されたキャリブレーションデータに基づいて、撮像画像上の計測ライン３２Ｂ上における距離データを高さデータに変換する。高さデータの具体例においては、判定部１４０の構成とともに説明する。また、データ変換部１３５から出力された高さデータは、記憶部１１０に記憶されている軌跡データに関連付けられて、記憶部１１０に時系列に記憶されてもよい。
【００６５】
（判定部）
判定部１４０は、画像解析部１２５により解析された人物検出結果が計測ライン３２Ｂ上において正しく検出されているか否かをデータ変換部１３５から取得した高さデータに基づいて判定する。例えば、判定部１４０は、計測ライン３２Ｂ上に存在する検出枠に係る人物検出結果の正誤を判定してもよく、また、上記検出枠を構成する人物の数を上記高さデータに基づいて判定してもよい。
【００６６】
図７は、本発明の第１の実施形態に係る画像処理装置による人物検出の具体例を示した図である。図７に示すように、撮像画像２３には、人物Ｐ１〜Ｐ３、および検出枠Ｆ１〜Ｆ３が含まれており、人物Ｐ１〜Ｐ３、および検出枠Ｆ１〜Ｆ３は計測ライン３２Ｂ上と重なっている。
【００６７】
また、図８は、本発明の第１の実施形態に係る画像処理装置のレーザ測域センサ３０による検出結果の具体例を示した図である。図８の高さグラフ４３に示されている高さデータＨ１〜Ｈ３は、図７における人物Ｐ１〜Ｐ３に照射されたレーザ３１に基づいて測定された距離データに応じた高さデータである。
【００６８】
まず図７に示したように、画像解析部１２５による人物検出結果は、検出枠Ｆ１は正しいが、検出枠Ｆ２およびＦ３は誤っている。検出枠Ｆ２は、撮像方向に対して前後に重なった状態で移動する人物Ｐ２およびＰ３を一人の人物として生成されたものである。また、検出枠Ｆ３は、背景または環境光等により誤って生成されたものである。
【００６９】
図８に示したように、判定部１４０は、例えば、画像解析により検出された検出枠が検出枠Ｆ２の１つであるのに対し、検出枠Ｆ２の計測ライン３２Ｂ上の位置に対応する高さデータはＨ２およびＨ３の２つであることから、人物検出結果が誤りであることを判定することが可能である。さらに、判定部１４０は、検出枠Ｆ２の範囲内に２つの高さデータが存在することから、検出枠Ｆ２には２人の人物が存在すると判定することも可能である。
【００７０】
また、図８に示したように、判定部１４０は、例えば、検出枠Ｆ３に対応する高さデータが存在しないことから、人物検出結果が誤りであることを判定することが可能である。具体的には、判定部１４０は、検出枠Ｆ３には人物が存在しないと判定することが可能である。
【００７１】
なお、判定部１４０は、上記高さデータの分布に基づいて、上記検出枠内の人物の数を判定してもよい。例えば、判定部１４０は、上記高さデータの分布を計測ライン３２Ｂ上の位置に対応するｘ座標の関数として近似し、上記近似関数の一階微分値、または二階微分値により特定される関数の変化点によって、人物由来の高さデータを特定してもよい。これにより、高さデータの変化から複数の人物が存在することを定量的に判定することが可能となる。
【００７２】
そして、画像解析部１２５による人物検出結果が誤りであると判定された場合、判定部１４０は、上記誤りであると判定された人物検出結果に係る情報を軌跡データ生成部１５０に出力する。具体的には、判定部１４０は、高さデータにより検出された上記検出枠の位置情報や検出枠に含まれる人物の数等を、軌跡データ生成部１５０に出力する。
【００７３】
（軌跡データ生成部）
軌跡データ生成部１５０は、画像解析部１２５による人物検出結果が誤りであると判定部１４０により判定された場合、判定の根拠となった高さデータにより検出される他の人物の軌跡データを生成する。例えば、軌跡データ生成部１５０は、上記他の人物の軌跡データを、人物検出結果に対応する検出枠に係る人物の軌跡データに基づいて生成してもよい。
【００７４】
図９は、本発明の第１の実施形態に係る画像処理装置による軌跡データの生成の具体例を示した図である。図９に示されている人物軌跡グラフ２０１および２０２は、撮像画像２１１および２１２に示されている検出枠に含まれる人物の軌跡データを示したグラフである。上記座標は、例えば検出枠の中央や下端中央の座標等であってもよい。また、人物軌跡グラフ２０１および２０２内の計測ライン３２Ｃは、撮像画像２１１および２１２内の計測ライン３２Ｂに対応するラインである。また、高さグラフ２２１および２２２は、撮像画像２１１および２１２内の計測ライン３２Ｂ上の高さデータを示すグラフである。図９の上段の各図は先の時刻における各情報を、下段の各図は後の時刻における各情報を示している。
【００７５】
図９に示したように、ある時刻における撮像画像２１１内には人物Ｐ１〜Ｐ３が存在するが、検出枠Ｆ２は、人物Ｐ２およびＰ３を誤って一人の人物として表現している。そのため、人物軌跡グラフ２０１においては、検出枠Ｆ１およびＦ２に対応する軌跡Ｔ１およびＴ２しか存在しない。また、計測ライン３２Ｂ上には人物Ｐ１およびＰ２のみ存在するため、高さグラフ２２１において示されるように、人物Ｐ１およびＰ２に対応する高さデータＨ１およびＨ２のみが検出されている。
【００７６】
上記時刻の経過後、撮像画像２１２において示されるように、人物Ｐ３が計測ライン３２Ｂ上に重なったとする。すると、高さグラフ２２２において示されるように、人物Ｐ３に対応する高さデータＨ３が検出される。判定部１４０は高さグラフ２２２による高さデータＨ２およびＨ３に基づき、検出枠Ｆ２には２の人物が存在すると判定する。そして、軌跡データ生成部１５０は、上記判定結果を受けて、人物軌跡グラフ２０２において示されるように、新たな軌跡Ｔ３を生成する。なお、新たな軌跡Ｔ３は、検出枠Ｆ２の軌跡Ｔ２を複製して生成されてもよい。これにより、人物Ｐ３の軌跡データを過去にさかのぼって生成することが可能となる。
【００７７】
なお、軌跡データ生成部１５０は、画像解析部１２５による人物検出結果が誤りであると判定部１４０により所定時間以上連続して判定された場合に、他の人物の軌跡データを生成してもよい。すると、例えばデータ変換部１３５から出力された高さデータにノイズ等の誤ったデータに基づいて、人物検出結果について判定部１４０が誤った判定をした場合においても、軌跡データ生成部１５０がすぐに新たな軌跡データを作成しないようにすることが可能である。なお、上記所定時間は特に限定されず、上記画像処理装置の動作による追跡精度に応じて変更可能である。
【００７８】
（出力部）
出力部１６０は、記憶部１１０に記憶された人物の軌跡データや検出枠のデータ等を出力する。例えば、出力部１６０は、上記軌跡データや検出枠を不図示のモニター等の表示部に表示させてもよいし、上記軌跡データをデータベースや他のシステム等に逐次送信してもよい。これにより、例えば監視者が人物の検出結果や人物の軌跡を視覚により確認することが可能であり、また、人物の軌跡データが蓄積されたデータベースを利用して、人数の計測や人物の行動解析等が可能となる。
【００７９】
（変形例）
なお、判定部１４０は、記憶部１１０に記憶された高さデータの時系列変化に基づいて、検出枠を構成する人物の数を判定することも可能である。具体的には、判定部１４０は、上記高さデータの時系列変化が、例えば複数のピークを示す等所定の変化パタンを示す場合に、画像解析部１２５による人物検出結果を誤りと判定し、検出枠を構成する人物の数を判定してもよい。以下、本変形例における判定部１４０の判定処理について説明する。
【００８０】
図１０は、本発明の第１の実施形態に係る画像処理装置による軌跡データの生成の他の具体例を示した図である。図１０に示される撮像画像３０１、３１１および３２１は、時刻ｔ１、ｔ２およびｔ３における人物検出結果を含む撮像画像である。なお、時刻ｔ１が最も古い時刻であり、ｔ３が最も新しい時刻である。
【００８１】
各撮像画像内には、人物Ｐ１〜Ｐ３、並びに検出枠Ｆ１およびＦ２が存在し、特に検出枠Ｆ２は、人物Ｐ２およびＰ３を誤って一人の人物として表現している。また、高さグラフ３０２、３１２および３２２は、上記各時刻における高さデータを示すグラフである。また、時刻ｔを変数とするグラフ３３１および３３２は、各撮像画像における検出枠Ｆ１およびＦ２が計測ライン３２Ｂ上で示す高さデータの変化を示したグラフである。そして、人物軌跡グラフ３４１は、人物Ｐ１〜Ｐ３の軌跡データに対応する軌跡Ｔ１〜Ｔ３を示している。なお、図１０に示されている人物軌跡グラフ３４１は、時刻ｔ３における軌跡を示している。
【００８２】
撮像画像３０１、３１１および３２１に示されるように、本変形例において人物Ｐ２およびＰ３が図面に向かって縦方向に連なって移動していると想定する。このとき、各高さグラフに示されるように、高さデータはいずれの時刻においてもＨ１およびＨ２しか検出されない。つまりこの場合、一時刻における高さデータから検出結果を誤りと判定することは困難である。
【００８３】
そこで、判定部１４０は、記憶部１１０に記憶された高さデータの時系列変化に基づいて、検出枠を構成する人物の数を判定する。まず、人物Ｐ１が計測ライン３２Ｂの上側の領域から下側の領域に移動するとき、検出枠Ｆ１に対応する高さデータＨ１の時系列変化は、グラフ３３１に示されるように、ピーク４３１Ａを有する形状を示す。
【００８４】
一方、人物Ｐ２およびＰ３が図面に向かって縦方向に連なって移動する場合、検出枠Ｆ２に対応する高さデータＨ２の時系列変化は、グラフ３３２に示されるように、ピーク４３２Ａおよび４３２Ｂを有する形状を示す。
【００８５】
よって判定部１４０は、ある検出枠に係る高さデータの時系列変化において、高さの値のピークを２以上検出した場合、上記検出枠を構成する人物の数がピークの数であると判定してもよい。これにより、複数の人物が縦に連なって移動する場合においても、画像解析による人物検出結果が誤りであると判定することが可能となる。
【００８６】
そして、軌跡データ生成部１５０は上記判定結果に応じて、検出枠Ｆ２に含まれる人物Ｐ３の軌跡データＴ３を生成する。このとき、軌跡データ生成部１５０は、例えば、人物軌跡グラフ３４１に示されるように、新たに生成した軌跡データに係る人物の現在位置を人物Ｐ２と同一の位置ではなく計測ライン３２Ｂ上としてもよい。これにより、新たに検出された人物の軌跡データをより正確に表現することが可能である。
【００８７】
〔２−２．第１の実施形態に係る画像処理装置の動作〕
以上、本発明の第１の実施形態に係る画像処理装置１０−１の構成について説明した。次に、本発明の第１の実施形態に係る画像処理装置１０−１の動作について説明する。
【００８８】
図１１は、本発明の第１の実施形態に係る画像処理装置１０−１の動作例を示したフローチャートである。図１１に示したフローチャートに従って、本発明の第１の実施形態に係る画像処理装置１０−１の動作例について説明する。
【００８９】
まず、画像取得部１２０は、対象空間を撮像した撮像画像を撮像装置２０から取得する（Ｓ４０１）。そして、画像解析部１２５は、上記撮像画像を画像取得部１２０から取得し、上記撮像画像の画像解析により上記撮像画像から人物を検出する（Ｓ４０２）。このとき画像解析部１２５は、人物を検出した場合、上記人物が存在する領域を表現する検出枠を生成してもよい。
【００９０】
画像解析部１２５が上記画像解析に基づいて撮像画像中に人物の検出枠を生成した場合（Ｓ４０３／ＹＥＳ）、判定部１４０は、上記検出枠が計測ライン３２Ｂと重なっているか否かを判定する（Ｓ４０４）。ここで、上記検出枠が計測ライン３２Ｂと重なっている場合（Ｓ４０４／ＹＥＳ）、まず、距離データ取得部１３０はレーザ測域センサ３０により取得された距離データを取得し（Ｓ４０５）、データ変換部１３５が上記距離データを高さデータに変換し（Ｓ４０６）、データ変換部１３５から出力された高さデータに基づいて上記検出枠に係る人物検出結果の正誤を判定する（Ｓ４０７）。なお、データ変換部１３５から出力される高さデータは、上記検出枠が計測ライン３２Ｂと重なったタイミングに限らず、常に判定部１４０に出力されてもよい。また、データ変換部１３５から出力される高さデータは、記憶部１１０に時系列に記憶されてもよい。
【００９１】
上記人物検出結果と高さデータが整合しない場合（Ｓ４０７／ＹＥＳ）、判定部１４０は上記人物検出結果が誤っていると判定する。そして軌跡データ生成部１５０は、上記判定の根拠となった上記高さデータにより検出される他の人物の軌跡データを生成する（Ｓ４１０）。
【００９２】
また、上記人物検出結果と高さデータが整合する場合（Ｓ４０７／ＮＯ）、判定部１４０は、上記検出結果を表現する検出枠に係る時系列高さデータを記憶部１１０から取得する（Ｓ４０８）。そして、上記時系列高さデータが２以上のピークを示す等所定の変化パタンを示す場合（Ｓ４０９／ＹＥＳ）、判定部１４０は上記人物検出結果が誤っていると判定し、軌跡データ生成部１５０は上記判定結果に応じて他の人物の軌跡データを生成する（Ｓ４１０）。
【００９３】
その後、記憶部１１０は、画像解析部１２５により検出された人物の移動履歴を示す軌跡データを、過去の軌跡データと関連付けて記憶することにより、上記軌跡データを更新する（Ｓ４１１）。そして、出力部１６０は、記憶部１１０に記憶された人物の軌跡データや検出枠のデータ等を出力する（Ｓ４１２）。
【００９４】
本発明の第１の実施形態に係る画像処理装置１０−１は、上記処理を繰り返し実施することにより、人物検出結果を蓄積し、軌跡データを順次更新し、出力する。
【００９５】
なお、図１１のフローチャートには示されていないが、キャリブレーション部１３１は、本動作の開始前に、撮像装置２０の座標系とレーザ測域センサ３０の座標系とを関連付け、距離データを高さデータに変換するためのキャリブレーションデータを作成する。上記処理は、例えば、撮像装置２０とレーザ測域センサ３０の設置場所の変化やメンテナンス等の機会において実施されてもよい。
【００９６】
＜３．第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態に係る画像処理装置１０−２は、第１の実施形態に係る画像処理装置１０−１の有する機能に加え、さらに画像解析による人物検出の検出条件を、人物検出の正誤判定の結果に基づいて変更する機能を有する。以下、第２の実施形態に係る画像処理装置１０−２について説明する。
【００９７】
〔３−１．第２の実施形態に係る画像処理装置の構成〕
図１２は、本発明の第２の実施形態に係る画像処理装置１０−２の構成を示したブロック図である。図１２に示したように、本発明の第２の実施形態に係る画像処理装置１０−２は、通信部１００と、記憶部１１０と、画像取得部１２０と、検出条件変更部１２１と、画像解析部１２５と、距離データ取得部１３０と、キャリブレーション部１３１と、データ変換部１３５と、判定部１４０と、軌跡データ生成部１５０と、出力部１６０と、を備える。なお、通信部１００と、記憶部１１０と、画像取得部１２０と、画像解析部１２５と、距離データ取得部１３０と、キャリブレーション部１３１と、データ変換部１３５と、判定部１４０と、軌跡データ生成部１５０と、出力部１６０については第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。
【００９８】
（検出条件変更部）
検出条件変更部１２１は、判定部１４０による人物検出結果の判定結果に基づいて、画像解析部１２５による人物検出の検出条件を変更する。例えば、判定部１４０によりある検出枠に２以上の人物が含まれていたと判定された場合、検出条件変更部１２１は、上記２以上の人物を個々に検出するための条件を変更してもよい。より具体的には、検出条件変更部１２１は、人物検出技術を切り替えてもよいし、上記検出枠内の画像情報に基づいて検出閾値等を調整してもよい。
【００９９】
図１３は、本発明の第２の実施形態に係る画像処理装置による人物検出結果の具体例を示した図である。図１３に示されている人物軌跡グラフ５０１および５０２は、撮像画像５１１および５１２に示されている検出枠を特定する座標の軌跡を示したグラフである。上記座標は、例えば検出枠の中央や下端中央の座標等であってもよい。また、人物軌跡グラフ５０１および５０２内のライン３２Ｃは、撮像画像５１１および５１２内の計測ライン３２Ｂに対応するラインである。また、高さグラフ５２１および５２２は、撮像画像５１１および５１２内の計測ライン３２Ｂ上の高さデータを示すグラフである。図１３の上段の各図は先の時刻における各情報を、下段の各図は後の時刻における各情報を示している。
【０１００】
なお、図１３に示した例において、撮像画像５１２以外は全て図９に示した例と同じ軌跡データ、人物検出結果および高さデータを示しているので、詳細な説明は省略する。
【０１０１】
撮像画像５１２において示されるように、人物Ｐ２およびＰ３が計測ライン３２Ｂに重なったとする。すると、高さグラフ２２２において示されるように、人物Ｐ２およびＰ３に対応する高さデータＨ２およびＨ３が検出される。判定部１４０は高さグラフ２２２による検出結果を受けて、検出枠Ｆ２には２の人物が存在すると判定する。
【０１０２】
ここで、人物軌跡グラフ５０２で示したように軌跡データ生成部１５０が判定部１４０による判定結果に応じて新たな軌跡データを生成するとともに、判定部１４０は上記判定結果を検出条件変更部１２１に出力する。具体的には、判定部１４０は検出結果が誤りであると判定された検出枠Ｆ２内の画像情報を検出条件変更部１２１に出力してもよい。
【０１０３】
そして検出条件変更部１２１は、判定部１４０から取得した上記画像情報に基づき、画像解析部１２５の画像解析における人物検出条件を変更する。そして、画像解析部１２５は、検出条件変更部１２１により変更された人物検出条件に基づいて、撮像画像の画像解析を行う。すると、撮像画像５１２で示すように、画像解析部１２５は変更された人物検出条件に基づいて、人物Ｐ２と人物Ｐ３を区別して検出することが可能となる。このとき、画像解析部１２５は、人物Ｐ２と人物Ｐ３の存在する領域を表現する新たな検出枠Ｆ２’およびＦ３を生成してもよい。これにより、例えば人物Ｐ２とＰ３が計測ライン３２Ｂを通過した後に離れて移動することになっても、検出枠Ｆ２’およびＦ３に含まれる人物Ｐ２およびＰ３を正確に追跡することが可能である。
【０１０４】
なお上記において、検出条件変更部１２１は、撮像画像全体における人物検出の検出条件を変更するとしたが、本発明はかかる例に限定されない。例えば、検出条件変更部１２１は、計測ライン３２Ｂの近傍など、撮像画像の一部における検出条件を変更してもよい。これにより、誤検出の発生を抑制することが可能である。
【０１０５】
（変形例）
なお、検出条件変更部１２１は、例えば、計測ライン３２Ｂ上において検出枠が存在しない領域における高さデータが所定の基準を満たす場合に、上記人物検出条件を変更してもよい。具体的には、計測ライン３２Ｂ上に人物が存在するにも関わらず画像解析部１２５が上記人物を検出せず、かつ、上記人物の存在する領域において示される高さデータが人間と判定できる基準を満たす高さを示す場合に、検出条件変更部１２１は、上記人物の存在する領域における画像情報に基づいて、上記検出条件を変更してもよい。
【０１０６】
図１４は、本発明の第２の実施形態に係る画像処理装置による人物検出結果の他の具体例を示した図である。図１４に示されている人物軌跡グラフ６０１および６０２は、撮像画像６１１および６１２に示されている検出枠を特定する座標の軌跡を示したグラフである。上記座標は、例えば検出枠の下端中央の座標等であってもよい。また、人物軌跡グラフ６０１および６０２内のライン３２Ｃは、撮像画像６１１および６１２内の計測ライン３２Ｂに対応するラインである。また、高さグラフ６２１および６２２は、撮像画像６１１および６１２内の計測ライン３２Ｂ上の高さデータを示すグラフである。なお、図１４の上段および下段の各図が示す各情報は、同時刻の情報である。
【０１０７】
撮像画像６１１において示されるように、人物Ｐ１が計測ライン３２Ｂに重なっているにも関わらず、人物Ｐ１が画像解析部１２５により検出されず、人物Ｐ１の存在する領域を表現する検出枠が生成されていないとする。このとき、人物Ｐ１に対応する高さデータＨ１が、高さグラフ６２１において示されるように、所定の基準高さｈ０以上であったとする。この所定の基準高さｈ０は、例えば人間の平均的な身長に応じて決定されてもよいし、状況に応じて変更されてもよい。
【０１０８】
すると、まず判定部１４０は、計測ライン３２Ｂ上に人物と想定される物体が存在すると判定し、判定結果を検出条件変更部１２１へ出力する。具体的には、判定部１４０は、上記人物と想定される物体が存在する領域における画像情報を検出条件変更部１２１へ出力する。そして検出条件変更部１２１は、上記画像情報に基づき、上記検出条件を変更する。なお、上記領域の位置および範囲は、例えば、対応する高さデータの位置および範囲により特定されてもよい。
【０１０９】
また、画像解析部１２５は、上記検出条件が変更された後に、再度撮像画像の画像解析を行ってもよい。例えば、画像解析部１２５は上記変更された検出条件に基づいて撮像画像６１１を再度画像解析した場合、撮像画像６１２に示されるように、人物Ｐ１を検出し、検出枠Ｆ１を生成することが可能となる。そして、軌跡データ生成部１５０は、上記検出条件変更後の画像解析により検出された人物Ｐ１の軌跡データを生成してもよい。その場合、人物軌跡グラフ６０２に示されるように、軌跡Ｔ１が生成される。
【０１１０】
なお、画像解析部１２５は、上記検出条件を変更した後に、例えば、記憶部１１０に記憶された過去の撮像画像の画像解析を再度実施してもよい。これにより、当初検出されなかった人物Ｐ１の軌跡Ｔ１を過去にさかのぼって補完することが可能となる。
【０１１１】
〔３−２．第２の実施形態に係る画像処理装置の動作〕
以上、本発明の第２の実施形態に係る画像処理装置１０−２の構成について説明した。次に、本発明の第２の実施形態に係る画像処理装置１０−２の動作について説明する。
【０１１２】
図１５は、本発明の第２の実施形態に係る画像処理装置１０−２の動作例を示したフローチャートである。図１５に示したフローチャートに従って、本発明の第２の実施形態に係る画像処理装置１０−２の動作例について説明する。
【０１１３】
まず、画像取得部１２０は、対象空間を撮像した撮像画像を撮像装置２０から取得する（Ｓ７０１）。そして、画像解析部１２５は、上記撮像画像を画像取得部１２０から取得し、上記撮像画像の画像解析により上記撮像画像から人物を検出する（Ｓ７０２）。このとき画像解析部１２５は、人物を検出した場合、上記人物が存在する領域を表現する検出枠を生成してもよい。
【０１１４】
画像解析部１２５が上記画像解析に基づいて撮像画像中に人物の検出枠を生成した場合（７０３／ＹＥＳ）、判定部１４０は、上記検出枠が計測ライン３２Ｂと重なっているか否かを判定する（Ｓ７０４）。ここで、上記検出枠が計測ライン３２Ｂと重なっている場合（Ｓ７０４／ＹＥＳ）、まず、距離データ取得部１３０はレーザ測域センサ３０により取得された距離データを取得し（Ｓ７０５）、データ変換部１３５が上記距離データを高さデータに変換し（Ｓ７０６）、データ変換部１３５から出力された高さデータに基づいて上記検出枠に係る人物検出結果の正誤を判定する（Ｓ７０７）。なお、データ変換部１３５から出力される高さデータは、上記検出枠が計測ライン３２Ｂと重なったタイミングに限らず、常に判定部１４０に出力されてもよい。また、データ変換部１３５から出力される高さデータは、記憶部１１０に時系列に記憶されてもよい。
【０１１５】
上記人物検出結果と高さデータが整合しない場合（Ｓ７０７／ＹＥＳ）、判定部１４０は上記人物検出結果が誤っていると判定する。
【０１１６】
また、上記人物検出結果と高さデータが整合する場合（Ｓ７０７／ＮＯ）、判定部１４０は、上記検出結果を表現する検出枠に係る時系列高さデータを記憶部１１０から取得する（Ｓ７０８）。そして、上記時系列高さデータが２以上のピークを示す等所定の変化パタンを示す場合（Ｓ７０９／ＹＥＳ）、判定部１４０は上記人物検出結果が誤っていると判定する。
【０１１７】
上記人物結果が誤っていると判定部１４０により判定された場合、検出条件変更部１２１は、上記判定結果に基づいて、画像解析部１２５による画像解析における人物検出の検出条件を変更する（Ｓ７１０）。そして、軌跡データ生成部１５０は、上記判定の根拠となった上記高さデータにより検出される他の人物の軌跡データを生成する（Ｓ７１１）。
【０１１８】
一方、第２の実施形態に係る画像処理装置１０−２の場合、ステップＳ７０３において画像解析部１２５が上記画像解析に基づいて撮像画像中に人物の検出枠を生成しなかった場合（Ｓ７０３／ＮＯ）、データ変換部１３５は距離データ取得部１３０により取得された距離データを高さデータに変換し、判定部１４０はデータ変換部１３５から出力された高さデータを取得する（Ｓ７１２）。なおステップＳ７１２における処理は、ステップＳ７０５およびステップＳ７０６における処理と同一である。
【０１１９】
そして、判定部１４０が計測ライン３２Ｂ上に人物と想定される物体が存在すると判定した場合（Ｓ７１３／ＹＥＳ）、検出条件変更部１２１は、上記物体が存在すると判定された領域の画像情報に基づいて、画像解析部１２５による画像解析における人物検出の検出条件を変更する（Ｓ７１４）。そして画像解析部１２５は、変更後の検出条件に基づいて、撮像画像の画像解析により再度人物検出を実施する（Ｓ７１５）。そして画像解析実施後に計測ライン３２Ｂ上に上記人物の存在する領域を表現する検出枠が生成された場合（Ｓ７１６）、軌跡データ生成部１５０は、上記人物の軌跡データを生成する（Ｓ７１７）。
【０１２０】
その後、記憶部１１０は、画像解析部１２５により検出された人物の移動履歴を示す軌跡データを、過去の軌跡データと関連付けて記憶することにより、上記軌跡データを更新する（Ｓ７１８）。そして、出力部１６０は、記憶部１１０に記憶された人物の軌跡データや検出枠のデータ等を出力する（Ｓ７１９）。
【０１２１】
本発明の第２の実施形態に係る画像処理装置１０−２は、上記処理を繰り返し実施することにより、人物検出結果を蓄積し、軌跡データを順次更新し、出力する。
【０１２２】
なお、ステップＳ７１５において画像解析部１２５が変更後の検出条件に基づいて撮像画像の画像解析を行っているが、例えば、ステップＳ７１４の処理の後に、もう一度ステップＳ７０２に戻ってもよい。これにより、上記処理をさらに簡潔にでき、画像処理装置１０−２による画像処理の処理負荷を低減させることが可能である。
【０１２３】
＜４．画像処理装置のハードウェア構成＞
以上、本発明の実施形態に係る画像処理装置１０の動作例について説明した。上述した画像処理装置１０の情報処理は、ソフトウェアと、画像処理装置１０との協働により実現される。以下では、画像処理装置１０のハードウェア構成を説明する。
【０１２４】
図１６は、画像処理装置１０のハードウェア構成を示したブロック図である。画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、を備える。また、画像処理装置１０は、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、ドライブ９１１と、ネットワークインタフェース９１２と、を備える。
【０１２５】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。なお、ＣＰＵ９０１は、画像処理装置１０内の動作全般を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。
【０１２６】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１２７】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。画像処理装置１０のユーザは、当該入力装置９０８を操作することにより、画像処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１２８】
出力装置９０９は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置およびランプなどの表示装置を含む。さらに、出力装置９０９は、スピーカ及びヘッドホンなどの音声出力装置を含む。出力装置９０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データや表示装置に表示されたテキストデータ等を音声に変換して出力する。なお、出力装置９０９は、出力部１６０の機能を実現する。
【０１２９】
ストレージ装置９１０は、本発明の実施形態に係る画像処理装置１０におけるデータ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読み出し装置および記憶媒体に記憶されたデータを削除する削除装置などを含んでも良い。ストレージ装置は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。なお、ストレージ装置９１０は、記憶部１１０の機能を実現する。
【０１３０】
ドライブ９１１は、記憶媒体用リーダライタであり、画像処理装置１０に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９６に記録されている情報を読みだして、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９６に情報を書き込むこともできる。
【０１３１】
ネットワークインタフェース９１２は、例えば、他の装置に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース９１２は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、またはブルートゥース通信装置であってもよい。また、ネットワークインタフェース９１２は、有線による通信を行うワイヤー通信装置であってもよい。なお、ネットワークインタフェース９１２は、通信部１００の機能を実現する。
【０１３２】
＜５．まとめ＞
ここまで、図１〜図１６を用いて、本発明の各実施形態について詳細に説明した。本発明の第１の実施形態によれば、画像処理装置１０−１は、レーザ測域センサ３０から取得した距離データに基づいて、画像解析による人物検出結果の正誤を判定し、上記判定結果に応じて人物の軌跡データを新たに生成することが可能である。また、画像処理装置１０−１は、画像解析により検出された人物の存在する領域を表現する検出枠を実際に構成する人物の数を判定し、その数に応じた軌跡データを新たに生成することが可能である。したがって、画像処理による人物追跡の精度を向上させることが可能となる。
【０１３３】
また、本発明の第１の実施形態によれば、レーザ測域センサ３０の計測範囲である所定範囲が撮像画像全体の領域でなくとも、画像解析による人物検出結果の正誤を判定することが可能である。よって、広域範囲が計測可能であるが高価であるレーザ測域センサを導入しなくとも、例えば、１ラインの計測が可能であるレーザ測域センサを導入すれば、コストを低く抑えつつ、画像解析による人物追跡の精度を向上させることが可能となる。
【０１３４】
また、本発明の第２の実施形態によれば、検出条件変更部１２１の機能により、上記判定結果に応じて、画像解析における人物検出の検出条件を変更することが可能である。これにより、画像処理による人物検出の精度を向上させることが可能となる。
【０１３５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３６】
例えば、上記実施形態では、レーザ測域センサ３０の計測ライン３２Ａは、一次元の線上の範囲としたが、本発明はかかる例に限定されない。例えば、レーザ測域センサ３０の計測エリアを、二次元平面上の範囲としてもよい。これにより、より広域な範囲において人物追跡が可能となる。
【０１３７】
また、上記実施形態では、撮像装置２０およびレーザ測域センサ３０は同一の鉛直線上に設置されていたが、本発明はかかる例に限定されない。例えば、撮像装置２０およびレーザ測域センサ３０は通路の天井等に設置されていてもよい。そうすると、撮像装置２０の撮像方向およびレーザ測域センサ３０のレーザ３１の発信方向が鉛直方向に近い方向となる。これにより、例えば人物のオクルージョン（遮蔽）を回避でき、より精度高く人物を検出することが可能である。また、撮像装置２０およびレーザ測域センサ３０は、移動可能なテーブルやレールに配置されてもよい。これにより、設置場所における人物の密度や移動速度等に応じて、最適な位置から人物を検出および追跡することが可能となる。
【０１３８】
また、上記実施形態では、レーザ測域センサ３０により取得された距離データをデータ変換部１３５により高さデータに変換したが、本発明はかかる例に限定されない。例えば、判定部１４０は、レーザ測域センサ３０により取得された距離データを直接用いて画像解析により生成された検出枠に係る人物検出結果の正誤を判定することも可能である。これにより、例えば、撮像装置２０およびレーザ測域センサ３０の設置位置を自由に変更しても、画像処理装置１０を利用することが可能である。また、取得した距離データの相対的な変化に応じて人物の検出が可能となるため、キャリブレーション処理を実行せずに、画像処理装置１０を利用することが可能である。
【０１３９】
また、上記実施形態では、画像処理装置１０を人物の軌跡データの生成に適用させた実施例について説明したが、本発明はかかる例に限定されない。例えば、画像処理装置１０は、物体の軌跡データを生成することも可能である。具体的には、画像処理装置１０は、画像処理装置１０の画像解析部１２５により画像解析が可能であり、かつ、レーザ測域ｄ３０により存在を特定することが可能な、車両や家畜等の動物の軌跡データを生成することも可能である。また、画像処理装置１０は、上記の車両や動物、および人物が混在したような状況においても、各物体の軌跡データを生成することが可能である。
【０１４０】
また、上記実施形態では、センサの一例としてレーザ測域センサ３０が用いられたが、本発明はかかる例に限定されない。例えば、画像処理装置１０の適用対象である対象範囲の大きさに応じて、センサとして超音波センサや赤外センサ等の測距センサや測域センサが用いられてもよい。
【０１４１】
また、上記実施形態では、画像処理装置１０と、撮像装置２０と、レーザ測域センサ３０が独立した構成となっていたが、本発明はかかる例に限定されない。例えば、画像処理装置１０の有する各機能部と、撮像装置２０と、レーザ測域センサ３０が一体となった画像処理装置および画像処理システムが提供されてもよい。
【０１４２】
また、本明細書の画像処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１４３】
また、画像処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記の画像処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１４４】
１０      画像処理装置
２０      撮像装置
３０      レーザ測域センサ
３１      レーザ
３２Ａ、３２Ｂ、３２Ｃ    計測ライン
１００    通信部
１１０    記憶部
１２０    画像取得部
１２１    検出条件変更部
１２５    画像解析部
１３０    距離データ取得部
１３１    キャリブレーション部
１３５    データ変換部
１４０    判定部
１５０    軌跡データ生成部
１６０    出力部
【図１】
2016162409.tif 000003
【図２】
2016162409.tif 000004
【図３】
2016162409.tif 000005
【図４】
2016162409.tif 000006
【図５】
2016162409.tif 000007
【図６】
2016162409.tif 000008
【図７】
2016162409.tif 000009
【図８】
2016162409.tif 000010
【図９】
2016162409.tif 000011
【図１０】
2016162409.tif 000012
【図１１】
2016162409.tif 000013
【図１２】
2016162409.tif 000014
【図１３】
2016162409.tif 000015
【図１４】
2016162409.tif 000016
【図１５】
2016162409.tif 000017
【図１６】
2016162409.tif 000018