(57)【要約】【課題】画角より広域の撮像範囲であっても、対象範囲内の物体の数を適切にカウントすることができる画像処理装置を提供する。【解決手段】画像処理装置は、撮像手段により撮像された画像から物体を検出する検出手段と、前記検出手段により検出された前記物体が、画角内に設定された検知線を通過したことを検知する検知手段と、前記検出手段により検出された前記物体のうち、前記検知手段により前記検知線を通過したことが検知された物体の数をカウントするカウント手段と、前記物体の数をカウントすべき対象範囲内を前記検知線が移動するよう、前記撮像手段を制御する制御手段と、を備える。【選択図】  図６
2019068339.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像から物体を検出する検出手段と、
前記検出手段により検出された前記物体が、画角内に設定された検知線を通過したことを検知する検知手段と、
前記検出手段により検出された前記物体のうち、前記検知手段により前記検知線を通過したことが検知された物体の数をカウントするカウント手段と、
前記物体の数をカウントすべき対象範囲内を前記検知線が移動するよう、前記撮像手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記撮像手段の画角を移動させることにより、前記対象範囲内を前記検知線が移動するよう、前記撮像手段の動作を制御する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検知手段は、前記検出手段が検出した前記物体のうち、前記撮像手段の動作の方向と反対方向に前記検知線を通過した前記物体を前記検知線を通過したと検知する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記検知手段は、前記撮像手段の動作の方向に対して直交する方向に前記検知線を設定する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、前記検知手段が設定した検知線の位置または形状に応じて、前記撮像手段の動作を制御する、
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記撮像手段の前記画角に対して所定の広さを有する領域を前記対象範囲として設定し、前記検知線が前記対象範囲全体を通過するように前記撮像手段の動作を制御する経路を設定する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記カウント手段は、前記検知手段により前記検知線を通過したと検知された前記物体の数と、前記検出手段により検出された前記物体の数とに応じて前記物体の数をカウントする、
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記検知手段は、前記撮像手段の動作に応じて前記検知線の位置または形状を変化させる、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記制御手段は、前記検出手段により検出された前記物体の数と大きさの少なくとも一方により、前記撮像手段の動作を制御する、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記撮像手段のシャッタースピードに応じて前記撮像手段の動作の速度を制御する、
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記制御手段は、前記検出手段により検出された前記物体の移動方向に応じて前記撮像手段の動作を制御する、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記検出手段により検出された前記物体の移動速度に応じて前記撮像手段の動作を制御する、
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記撮像手段は、前記対象範囲を含む全方位画像から所定のサイズの画像を切り出すことにより前記画角を構成し、
前記制御手段は、前記撮像手段が前記全方位画像から前記所定のサイズの画像を切り出す位置を変更することにより、前記対象範囲内を前記検知線が移動するよう、前記撮像手段を制御する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記検知手段は、前記検知線を前記画角に対して固定に設定する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
撮像手段により撮像された画像から物体を検出するステップと、
検出された前記物体が、画角内に設定された検知線を通過したことを検知するステップと、
検出された前記物体のうち、前記検知線を通過したことが検知された物体の数をカウントするステップと、
前記物体の数をカウントすべき対象範囲内を前記検知線が移動するよう、前記撮像手段を制御するステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラで撮像された画像を解析することで、画像内の人数をカウントする方法が知られている。
例えば、特許文献１は、画像解析により撮像画像内の人体を検出する技術を開示する。具体的には、特許文献１の技術では、エッジ背景差分画像を生成し、移動物体のみのエッジを検出し、時間的に連続する画像間のフレーム間差分画像を生成し、エッジ背景差分画像とフレーム間差分画像を重ね合わせてラベリングを行っている。さらに、ラベリング結果に応じて移動体のみのエッジ情報を追跡して移動物体の輪郭画像を生成し、輪郭画像をもとに人の数をカウントしている。
また、特許文献２では、監視用カメラからの映像を画像処理し、各居住区内への玄関等の特定箇所を通過した人数をカウントする技術を開示する。具体的には、特許文献２の技術では、検出された人体を追尾し、認証された人数と実際に特定箇所を通過した人数の差を検出し、共連れが発生しているかどうかの確認を行っている。そして、不審者と認識される居住者ではない未認証者による共連れが発生した場合に、監視用カメラで撮影した映像と共にリアルタイム映像を、予め登録された配信先へ自動的に送信する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７０３５９号公報
【特許文献２】特開２００８−２１７２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、人数をカウントする範囲は監視カメラの撮像画角内に限られている。このため、より広い範囲を対象に人数をカウントする場合は、カウントする範囲を画角内に入る範囲に分割して撮像し、夫々の画像に対する画像解析によりカウントした人数を足し合わせる必要がある。このように撮像範囲を分割して撮像すると、分割された境界の部分で人物の画像が途中で切れたり、画角を動かす間に人物が移動したりするため、二重にカウントされたりカウント漏れが発生したりするおそれがあった。
【０００５】
本発明は、上記課題を解決するために成されたものであり、画角より広域の対象範囲であっても、対象範囲内の物体の数を適切にカウントすることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明のある態様によれば、撮像手段により撮像された画像から物体を検出する検出手段と、前記検出手段により検出された前記物体が、画角内に設定された検知線を通過したことを検知する検知手段と、前記検出手段により検出された前記物体のうち、前記検知手段により前記検知線を通過したことが検知された物体の数をカウントするカウント手段と、前記物体の数をカウントすべき対象範囲内を前記検知線が移動するよう、前記撮像手段を制御する制御手段と、を備える画像処理装置が提供される。
【発明の効果】
【０００７】
以上の構成を有する本発明によれば、画角より広域の対象範囲であっても、対象範囲内の物体の数を適切にカウントすることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係るネットワークカメラシステムの構成を示すブロック図
【図２】情報処理装置のハードウェアの構成例を示すブロック図
【図３】ネットワークカメラの機能構成例を示すブロック図
【図４】情報処理装置の機能構成例を示すブロック図
【図５】カメラ管理部および画像解析部の詳細構成例を示すブロック図
【図６】実施形態１に係る人数カウント処理の処理手順例を示すフローチャート
【図７】実施形態１に係るネットワークカメラの動作を決定する処理を説明する図
【図８】実施形態２に係るネットワークカメラの動作を決定する処理を説明する図
【図９】実施形態３に係る通過検知ラインの形状の変更処理を説明する図
【図１０】変形例に係る画像の例を示す図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に必ずしも限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
＜実施形態１＞
本実施形態に係るネットワークカメラシステムの構成例について図１を用いて説明する。図１において、ネットワークカメラ２と情報処理装置３とは、ネットワーク１を介して接続される。なお、ネットワークカメラ２および情報処理装置３はそれぞれ複数存在してもよい。
ネットワークカメラ２は、例えば、劇場や映画館、スタジアム等に設置される監視カメラであってよい。このネットワークカメラ２は、情報処理装置３からの制御に応じて被写体の撮像を行い、撮像した画像をネットワーク１を介して情報処理装置３に配信する。本実施形態において、ネットワークカメラ２は、人数をカウントすべき測定対象範囲に対して、撮像画角を移動して、測定対象範囲内の被写体を撮像することができる。なお、ネットワークカメラ２により撮像される画像は、静止画像および動画像を含む。
【００１１】
情報処理装置３は、ネットワークカメラ２の制御およびネットワークカメラ２からの画像（動画像）の画質等の制御を行い、ネットワークカメラ２から配信された画像を解析処理する。情報処理装置３は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）により構成することができる。
ネットワーク１は、例えば、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、または、アナログケーブル等により構成することができる。ネットワーク１は、ネットワークカメラ２と情報処理装置３の間で通信を行うことができればよく、その通信規格、規模、構成は限定されない。
【００１２】
（ハードウェア構成）
図１のネットワークカメラ２あるいは情報処理装置３の機能は、例えば後述するＲＯＭ１２等の記憶部に記憶されたプログラムを、ＣＰＵ１１によって実行することにより実現してもよい。なお、ネットワークカメラ２あるいは情報処理装置３の機能の少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００１３】
図２は、情報処理装置３のハードウェア構成の一例を示している。情報処理装置３は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、入力部１５、出力部１６、通信インタフェース（Ｉ／Ｆ）１７を備えている。ＣＰＵ１１〜通信Ｉ／Ｆ１７は、バス１８によって接続されている。
ＣＰＵ１１は、入力された信号やプログラムに従って、ネットワークカメラ２あるいは情報処理装置３を構成する各部分の制御を行う。具体的には、ＣＰＵ１１は、画像解析処理等の処理を行う。後述の図３および図４の機能ブロックは、ＣＰＵ１１によって実行される機能を図示したものである。
ＲＡＭ１３は、一時的なデータを記憶し、ＣＰＵ１１の作業用に使われる。ＲＯＭ１２は、ネットワークカメラ２あるいは情報処理装置３の各機能部を実行するためのプログラムや、各種の設定情報を記憶する。外部メモリ１４は、例えば、着脱可能なメモリカードであり、ＰＣ（パーソナルコンピュータ）等に装着してデータを読み出すことが可能である。
また、ＲＡＭ１３あるいは外部メモリ１４の所定の領域は、入出力データのバッファ、ＣＰＵ１１が実行する処理における一時的なデータの格納等に使われる。
入力部１５は、例えばユーザからの操作を入力するキーボードやマウス等の装置を備えている。出力部１６は、例えば画像を表示するモニター等の装置を備えている。
通信Ｉ／Ｆ１７は、上述のネットワーク１を介した通信を行う。
なお、ネットワークカメラ２も、図２のハードウェア構成を備えてよく、その場合さらに、被写体を撮像する撮像部を備える。
【００１４】
以下、画像内にいる人体（人物）の人数をカウントするための、ネットワークカメラ２と情報処理装置３の構成について説明する。なお、本実施形態においては、画像内の人体をカウントする例を説明するが、本実施形態はその他のあらゆる物体、例えば、動物や車両等をカウントすることができ、カウントされる物体は移動体と静止体を含む。
図３は、ネットワークカメラ２の機能構成を示すブロック図である。ネットワークカメラ２は、撮像部２１と、撮像制御部２２と、処理部２３と、通信部２４と、記憶部２５と、を備えている。
撮像部２１は、被写体を撮像して画像信号を生成する。撮像部２１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）イメージセンサ等の撮像素子を備えている。また、撮像部２１は、ズームやフォーカスや絞り等の機構を備えたレンズと、パン・チルト機構等によって撮像方向を変えるための雲台と、輝度や色調を変更する画像処理の機構と、を備えている。
撮像制御部２２は、処理部２３からの制御コマンドに応じて撮像部２１のズーム、フォーカス、パン・チルト等を制御する。これにより、測定対象範囲に対して撮像部２１の画角を移動して被写体を撮像することができる。本実施形態において、撮像制御部２２は、撮像部２１のパン・チルト、ズーム、フォーカス等の動作を制御することでネットワークカメラ２の画角を移動させる。なお、各実施形態において、「画角」とは撮像部２１によって撮像する範囲（撮像範囲）を意味するものとする。
【００１５】
処理部２３は、後述の通信部２４を介して外部からのリクエストコマンドを受信し、受信したリクエストコマンドを解析し実行する。例えば、リクエストコマンドがネットワークカメラ２の制御に関するコマンドであれば、処理部２３は、そのリクエストコマンドを制御コマンドに変換して撮像制御部２２に送る。撮像制御部２２は、処理部２３からの制御コマンドを実行する。また、リクエストコマンドがネットワークカメラ２の設定の状態の問い合わせに関するコマンドであれば、処理部２３は、後述の記憶部２５から該当する設定の状態を取得し、リクエストに対する応答をレスポンス形式に変換して通信部２４を介して送信する。
通信部２４は、他の装置との通信を行う。通信部２４は、ネットワーク１と接続されており、ネットワーク１とのインタフェースとして機能する。
記憶部２５は、ネットワークカメラ２の機種情報や名称や設定の状態等を記憶している。
【００１６】
図４は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、通信部３１と、カメラ管理部３２と、画像解析部３３と、一次記憶部３４と、二次記憶部３５と、入力部３６と、表示部３７と、処理部３８と、を備えている。
通信部３１は、ネットワークカメラ２との通信を行う。通信部３１は、ネットワーク１と接続されており、ネットワーク１とのインタフェースとして機能する。
カメラ管理部３２は、ネットワークカメラ２から設定の状態を取得するか、またはネットワークカメラ２からの状態の変更の通知を受信する。カメラ管理部３２は、取得した状態または受信した通知に基づいて、ネットワークカメラ２の雲台や撮像機構の状態を把握し管理する。また、カメラ管理部３２は、ネットワークカメラ２の雲台や撮像機構を所望の状態に変更するためのリクエストコマンドやネットワークカメラ２から画像を取得するためのリクエストコマンドを生成し、通信部３１を介して送信する。
画像解析部３３は、ネットワークカメラ２からの画像を取得し、取得した画像に対して画像解析を行い、画像内の測定対象の物体（人体）の検出および検出された人体のカウント（計数）を行う。
【００１７】
一次記憶部３４は、画像解析プログラムやデータを一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等であり、画像解析部３３で実行される解析処理の情報を一時的に記憶する。
二次記憶部３５は、ハードディスクや光ディスクやメモリカード等であり、画像解析を実行するプログラムを記憶する。また二次記憶部は、画像解析の結果として出力される人数等の情報を保存する。
入力部３６はマウス等のポインティングデバイスやキーボード等の、ユーザが入力のために操作する装置である。
表示部３７は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等のディスプレイで構成されており、画像解析プログラムのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示する。また、この表示部３７には、画像解析の結果に応じた情報を表示する。
【００１８】
処理部３８は、二次記憶部３５から読み出した画像解析のプログラムを一次記憶部３４に展開して実行し、入力部３６に入力された指示やカメラ管理部３２から得られたカメラの状態に基づき、カメラ管理部３２を介してネットワークカメラ２を制御する。また、処理部３８は、カメラ管理部３２から取得したネットワークカメラ２からの画像を画像解析部３３に供給し、画像解析を実行させる。さらに、処理部３８は、画像解析部３３から得られた画像解析の結果を表示部３７に表示させ、二次記憶部３５に保存する。
この処理部３８は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサとして構成することができる。処理部３８と、カメラ管理部３２および画像解析部３３を合わせて１つのプロセッサで構成することができる。あるいは、処理部３８、カメラ管理部３２、画像解析部３３を複数のＣＰＵで構成してもよく、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有する構成としてもよい。また、処理部３８が、カメラ管理部３２と画像解析部３３の処理を実行するようにしてもよい。
【００１９】
（カメラ管理部３２および画像解析部３３の詳細構成）
図５は、カメラ管理部３２と画像解析部３３の詳細な機能構成を示すブロック図である。カメラ管理部３２は、範囲設定部４１と、動作決定部４２と、カメラ制御部４３と、を備えている。また、画像解析部３３は、ライン設定部４４と、人体検出部４５と、通過判定部４６と、人数算出部４７と、を備えている。
カメラ管理部３２と画像解析部３３の間の情報のやり取りは、処理部３８を介して行われる。
範囲設定部４１は、人数をカウントする対象となる範囲である測定対象範囲（ないし対象範囲）を設定するための設定画面を表示部３７に表示させる。範囲設定部４１は、ユーザが入力部３６を介して設定画面に指定した範囲を受け付け、一次記憶部３４に保存する。人数をカウントする対象となる範囲は、例えばネットワークカメラのパン、チルトの回転位置によって指定できる。例えばパン、チルトの位置の組み合わせを２つ以上設定すれば、それらの位置に囲まれた領域を、撮像部２１の画角を移動させて撮像を行う測定対象範囲として設定することができる。
【００２０】
動作決定部４２は、範囲設定部４１で設定された測定対象範囲に対して、どのようにネットワークカメラ２を動作させるかを決定する。動作決定部４２は、撮影開始のパン、チルト、ズーム位置、撮像中のパン・チルト速度と方向およびズーム位置、撮像終了のパン、チルトの位置を決定する。
カメラ制御部４３は、動作決定部４２により決定したネットワークカメラ２の撮像動作に従い、カメラの状態を取得しながら撮像の進捗に合わせてネットワークカメラ２を制御するコマンドを発行する。また、カメラ制御部４３は、ネットワークカメラ２から画像を取得して、一次記憶部３４に保存する。
ライン設定部４４は、画像の画角内で通過した人数をカウントするための通過検知ライン（検知線）を設定するための設定画面を表示部３７に表示させる。ライン設定部４４は、ユーザが設定画面に応じて入力部３６を介して指定した通過検知ラインを示す情報を、一次記憶部３４に保存する。ライン設定部４４では、通過検知ラインの位置や長さ、検知する通過の方向を設定できる。また、通過検知ラインは直線だけでなく、曲線としてもよい。また、複数の通過検知ラインを設定してもよい。
【００２１】
人体検出部４５は、カメラ制御部４３がカメラから取得して一次記憶部３４に保存した画像を読み出し、画像処理を行って画像内に映っている人体を検出する。人体検出部４５は、画像内の人体の人数と、各人体の座標と大きさとを検出する。人体検出部４５は、動画像内の複数のフレーム画像から連続して人体検出する場合に、同じ人体を識別することができる。すなわち、人体検出部４５は動画像から同一人物を検出して追尾することができる。
なお、人体検出部４５は、必ずしも画像全体から人体を検出する必要はない。すなわち、後述の通過判定部４６で人体の通過が判定できる範囲であれば、通過検知ライン付近でのみ人体を検出すればよい。これにより、人体検出部４５の処理負荷を軽減できる。
通過判定部４６は、人体検出部４５が検出した人体が、ライン設定部４４で設定した通過検知ラインを通過したか否かを判定し、人体が通過した場合には後述の人数算出部４７に通知する。
人数算出部４７は、通過判定部４６からの通知の回数を計測することで、通過検知ラインを通過した人数をカウントする。
【００２２】
（人数カウント処理の処理手順）
図６は、処理部３８およびカメラ管理部３２と画像解析部３３が実行する一連の処理（人数カウント処理）を示すフローチャートである。
まず、Ｓ１で、処理部３８は、人数算出部４７でカウントした人数を０にリセットする。Ｓ２で、処理部３８は、動作決定部４２で決定された撮像開始位置に、ネットワークカメラ２のパン・チルトを移動させる。Ｓ３で、処理部３８は、動作決定部４２で決定した速度で、ネットワークカメラ２のパン、チルトの少なくとも一方を移動させる。
【００２３】
Ｓ４で、通過判定部４６が、人体検出部４５が検出した人体が通過検知ライン（検知線）を通過したかどうかを判断する。Ｓ５では、Ｓ４において人体が通過検知ラインを通過したと判断された場合は、人数算出部４７が通過した人数をカウントする。一方、Ｓ４において人体が通過検知ラインを通過していないと判断された場合には、Ｓ５の処理を行わずにＳ６に進み、人数算出部４７は、人数をカウントしない。
Ｓ６において、処理部３８は、ネットワークカメラ２のパン、チルトが動作決定部４２で決定した撮像終了位置に到達したかどうかを判断する。ネットワークカメラ２のパン、チルトが撮像終了位置に到達していない場合は、処理部３８は、Ｓ４以降の処理を繰り返す。ネットワークカメラ２のパン・チルトが撮像終了処理に到達した場合は、Ｓ７でカメラのパン・チルトの動作を停止させ、処理を終了する。
【００２４】
（カメラ動作決定処理詳細）
以下、動作決定部４２がネットワークカメラ２の動作を決定する処理の例を、図７（ａ）から（ｃ）を用いて説明する。範囲設定部４１により、人数をカウントする対象範囲が図７（ａ）の６１のように設定されているものとする。対象範囲６１の範囲内にいる人物の人数をカウントするには、通過検知ラインが、対象範囲６１内をすべて通過するようにネットワークカメラ２の撮像画角を移動させる経路を設定すればよい。このため範囲設定部４１は、撮像部２１の撮像画角に対してより広い領域を測定対象範囲として設定することができる。
【００２５】
また、ライン設定部４４は、通過検知ラインを、例えばネットワークカメラ２の画角の上端から下端まで、左右の中央に垂直に引く。すなわち、ライン設定部４４は、撮像部２１の撮像画角が移動する方向に対して直交する方向に通過検知ラインを設定する、
そして、動作決定部４２は、通過検知ラインと対象範囲６１の左端が一致し、かつ、通過検知ラインの下端と対象範囲６１の下端が一致するように撮像開始位置を決定する。これにより、図７（ｂ）に示すように、撮像開始位置における矩形領域で示される撮像画角は６２、通過検知ラインは６３のようになる。
【００２６】
次に、動作決定部４２は、通過検知ラインと対象範囲６１の右端が一致する位置６４までネットワークカメラ２のパンを移動するよう決定する。その後、動作決定部４２は、図７（ｃ）に示すように、撮像画角を垂直画角分だけ上方向の位置６５に移動するよう決定する。そして、動作決定部４２は、再度パンのみを通過検知ラインが６１の左端に通過検知ラインが一致する位置６６まで移動するように決定する。このように、パンの移動とチルトの移動を繰り返すことにより、対象範囲６１全体の人数をシームレスにカウントできる。
【００２７】
（本実施形態の効果）
以上のように、本実施形態では、測定対象範囲に対して撮像部の撮像画角を移動させながら、測定対象範囲を撮像する。そして、本実施形態では、撮像部からの画像から測定対象の物体を検出し、検出した物体が、測定対象範囲と撮像部の撮像画角に応じて設定された通過検知ラインを越えたか否かを判定し、通過検知ラインを越えた回数をカウントしている。すなわち、測定対象範囲内を設定された通過検知ラインが移動するよう、撮像部の撮像画角を移動するよう制御する。これにより、二重カウントやカウント漏れを低減することができる。すなわち、撮像部の画角より広域の撮像範囲（測定対象範囲）であっても、測定対象の物体を適切にカウントすることができる。
【００２８】
また、動作決定部４２とライン設定部４４は、範囲設定部４１が設定した測定対象範囲に合わせて、撮像部の撮像動作と通過知ラインを自動で設定する。
なお、ユーザがネットワークカメラ２のパン、チルトの座標を移動順に指定し、通過検知ラインを指定した場合は、範囲設定部４１で測定対象範囲を設定しなくてもよい。また、ライン設定部４４は、動作決定部４２で決定したカメラの移動方向に対して、例えば直交する方向に通過検知ラインを自動で設定することができる。
また、ライン設定部４４は、ネットワークカメラ２の移動方向に対して、反対方向に通過する人体のみをカウントするよう通過検知ラインを設定できる。また、ライン設定部４４は、ネットワークカメラ２が通過検知ラインに対して平行に移動している間は通過を検知しないよう通過検知ラインを設定してよい。このように構成すれば、カウントの誤りを低減することができる。
【００２９】
なお、上述の図７の説明では、通過検知ラインを画角に対して垂直の方向に設定し、ネットワークカメラ２のパンを動かして人数をカウントしていた。しかし、カメラの水平画角が垂直画角よりも長い場合は、通過検知ラインを画角に対して水平の方向に設定した方が、通過検知ラインが長くなるため、一度にカウントできる人数が増える。カウントする人の並び方によっては、通過検知ラインを画角に対して水平の方向に設定し、ネットワークカメラ２のチルトを動かした方が少ない移動量でカウントできる場合がある。
また、本実施形態では、ネットワークカメラ２のパン、チルトを移動させながら通過検知ラインを通過した人数をカウントしていたが、パン、チルトに限らず、画角が移動する方法であれば他の方法でもよい。例えば、ズームや回転等の方法でもよく、あるいは、車やドローン等、移動する物体にネットワークカメラ２を取り付けて撮像を行ってもよい。また、大きい解像度あるいは広角（広域）の画像から切り出し位置を移動させながら切り出した画像に対して上述と同様の処理を実行してもよい。
また、通過検知ラインを撮像部２１の画角に対して固定しておくことにより、処理負荷を低減することができる。
【００３０】
＜実施形態２＞
実施形態１では、検出した人物が通過検知ラインを越した数を計測していたが、本実施形態では、通過検知ラインを通過した人数のカウントと、検出した人体の数の計測による人数カウントを組み合わせる方法について説明する。
以下、本実施形態における動作決定部４２がネットワークカメラ２の動作方法を決定する方法を、図８を用いて説明する。
実施形態１では、人数をカウントする対象範囲６１全体を通過検知ラインが通過するようにネットワークカメラ２の画角を移動していた。そして、通過判定部４６が、通過検知ラインを通過したと判断した数のみを人数算出部４７が人数としてカウントした。
本実施形態では、対象範囲６１の人数をカウントするとき、ネットワークカメラ２で撮像する画角は対象範囲６１内の最小範囲のみとする。人数算出部４７は、通過判定部４６で通過検知ラインを通過したと判断した数と、通過検知ラインが通過しない範囲における人体検出部４５で人体として検出された数を、測定対象範囲内の人体の数として合算する。
例えば、カメラ制御部４３は、ネットワークカメラ２の画角の初期位置を７１のように、画角の左端と対象範囲６１の左端が一致するように設定する。そして、カメラ制御部４３は、ネットワークカメラ２のパンを右側に移動させ、画角の右端が対象範囲６１の右端と一致する位置７２まで移動させる。このとき、パンの移動中に通過検知ラインを通過した人体の数を人数としてカウントする。それに加え、画角が７１の位置にあるときの通過検知ラインの左側で検出した人体と、画角が７２の位置にあるときの通過検知ラインの右側で検出した人体の数を、人数として合算する。
【００３１】
本実施形態では、通過検知ラインを通過した人数のカウントと、検出した人体の数の計測による人数カウントを組み合わせることにより、実施形態１よりもネットワークカメラ２のパン、チルトの移動量を少なくした上で、対象範囲全体の人数をカウントできる。
また、ネットワークカメラ２のパン、チルトの稼働範囲の限界の位置まで画像中の人数をカウントしたい場合にも有効である。
【００３２】
＜実施形態３＞
実施形態１、実施形態２ではライン設定部４４が設定する通過検知ラインは画像の画角に対して一定であったが、本実施形態では、ライン設定部４４がネットワークカメラ２のパン、チルトの位置によって通過検知ラインの位置や形状を変化させるようにしている。
以下、本実施形態における処理の具体例を、図９を用いて説明する。
図９のように、カメラの画角に対して奥行きの方向に行列があり、かつ折り返して行列が続いているような場面を考える。行列の正面や横側から撮像すると、人物が重なって検出漏れが発生しやすいため、行列に対して斜め上方から撮像する場合がある。このような場合、図９の８１の位置から８２の位置のように、カメラのパン、チルトを行列に沿って移動させ、通過検知ラインを行列と直交する方向に設定すれば効率よくカウントできる。しかし、行列に奥行きがあると、手前側と奥側で画像上の行列の幅が異なるため、手前側の行列の幅で通過検知ラインを設定すると、奥側では折り返した隣の列の人体も誤ってカウントしてしまう場合がある。そこで本実施例では、ネットワークカメラ２の画角が行列の手前側にあるときは８１ａのように長い通過検知ラインを設定し、ネットワークカメラの画角が行列の奥側にあるときは８２ａのように短い通過検知ラインを設定する。すなわち、ライン設定部４４は、撮像部２１の画角の移動に応じて通過検知ラインの位置または形状を変化させる。具体的には、例えば被写体までの距離に応じて通過検知ラインの長さを設定する。このように設定した通過検知ラインにより人数をカウントすることにより、列ごとに人数をカウントできるため、列の動きによる影響や、二重カウントを低減させることができる。
【００３３】
本実施形態では、撮像部２１の画角の移動に応じて通過検知ラインの位置または形状を変化させることにより、精度よく画像中の人物の人数をカウントすることができる。
なお、以上の説明では、ネットワークカメラ２のパン、チルトの位置によって通過検知ラインの長さを変更したが、通過検知ラインの長さだけでなく、位置や形状を変更してもよい。また、ネットワークカメラ２のパン、チルトだけでなく、ズームに応じて通過検知ラインの位置や形状を変更してもよい。
【００３４】
＜第４の実施形態＞
本実施形態では、動作決定部４２が、撮像環境に合わせてネットワークカメラ２の移動速度や移動方向を自動的に設定する。
ネットワークカメラ２のシャッタースピードが遅い場合、ネットワークカメラ２のパン、チルト等を動作させることによる画角の移動速度が速いと、画像上の被写体のぶれが大きくなる。被写体のぶれが大きくなると、人体検出部４５で検出する人体の検出精度が低くなる。そこで、本実施形態では、それぞれのシャッタースピードに対してあらかじめ設定しておいた移動速度で画角を移動する。ここで、画角の移動速度は、単位時間当たりに１画角分移動する速度であり、ズーム位置によっても異なる。具体的には、例えば、シャッタースピードが１／１０００の場合は毎秒１画角分移動し、シャッタースピードが１／２０００の場合は毎秒２画角分移動するというように設定する。すなわち、撮像部２１のシャッタースピードに応じて撮像部２１による画角の移動の速度を変更する。
【００３５】
本実施形態では、シャッタースピードに対してあらかじめ設定しておいた移動速度で、ネットワークカメラ２の画角を移動させることにより、シャッタースピードが変化した場合も、人体の検出に適した移動速度を実現できる。
なお、検出した人体の状況によりカメラのパン、チルト等の移動速度や移動方向を変更することもできる。
例えば、人体検出部４５で検出した人体について、あらかじめ決められた閾値より大きさが小さい場合や、数が多く存在した場合に、人体検出の処理の負荷が大きくなり、時間がかかる場合がある。そのため、人体の数に合わせてフレームレートを変更することが考えられる。しかし、フレームレートが遅く、かつ画角の移動速度が速いと、前後のフレームで人体の移動距離が大きくなり、人体の追尾の精度が低くなる。そのような場合、画角の移動速度を遅くすればよい。すなわち、人体検出部４５により検出された特定の物体の数と大きさの少なくとも一方により、撮像部２１による画角の移動の速度を変更する。
【００３６】
さらに、人体の移動速度を検出して、画角の移動速度を決めることも考えられる。人体を追尾検出する場合、各フレームにおける座標から、画角内での単位時間あたりの移動量や移動方向が分かる。そのため、人物が移動している方向を検出して、反対方向にネットワークカメラのパン・チルトを移動すれば、効率よく人数をカウントできる。また、人が移動している方向と同じ方向に画角を移動しなければならない場合は、人物が移動している速度よりも早く画角を移動するといった方法をとることができる。すなわち、人物の移動方向と移動速度を検出し、移動方向と移動速度に応じて撮像部２１による画角の移動の速度を変更する。
【００３７】
＜変形例＞
上述の各実施形態では、ネットワークカメラ２のパン・チルト機能により測定対象領域内で画角を移動させて画像を得ていたが、測定対象領域内で画角を移動させる方法はこれに限られない。
例えば、図１０に示す全方位画像から所定のサイズで切り出す領域９１を、全方位画像中、所定の方向（周方向）９２に順次変化させ、切り出し画像として人体検出部４５に順次供給するものも含まれる。
半球状ミラーや魚眼レンズ等で得られる全方位画像は、単に特定の領域を抽出しても、画像の歪みや収差等の影響がある。これに対して、画角を構成する切り出し画像の座標変換や歪み補正等を行うことにより、通常のカメラの画像と同様の矩形領域の画像に変換することができる。
全方位画像から所定のサイズで切り出す領域９１を、円周上で所定の方向９２に移動させながら、順次歪み補正等を行った切り出し画像に対して人体の検出を行った後、通過検知ラインを設定する。通過判定部４６によって切り出し画像内に設定された通過検知ラインを通過したか否かを判定することにより、人数のカウントを行うことができる。
この場合、通過検知ラインは、矩形領域に変換した切り出し画像内において固定としてよい。あるいは、検出した人体等に応じて変更してもよい。
このように、全方位画像出力され、歪み補正された画像に対して各実施形態と同様の処理を実行することにより、画像中に含まれる人物の数のカウントの精度を向上させることができる。
【符号の説明】
【００３８】
１…ネットワーク、２…ネットワークカメラ、３…情報処理装置、２１…撮像部、２２…撮像制御部、３２…カメラ管理部、３３…画像解析部、３８…処理部、４１…範囲設定部、４４…ライン設定部、４５…人体検出部、４６…通過判定部、４７…人数算出部
【図１】
2019068339.tif 000003
【図２】
2019068339.tif 000004
【図３】
2019068339.tif 000005
【図４】
2019068339.tif 000006
【図５】
2019068339.tif 000007
【図６】
2019068339.tif 000008
【図７】
2019068339.tif 000009
【図８】
2019068339.tif 000010
【図９】
2019068339.tif 000011
【図１０】
2019068339.tif 000012