(57)【要約】 【課題】移動体の検出精度が低下した場合でも移動体数をより精度良く推定可能にするための技術を提供する。【解決手段】情報処理装置であって、監視領域内の移動体の数を推定する推定手段と、前記監視領域内の前記移動体のうちから追尾対象の移動体を選定する選定手段と、前記推定の後、選定された前記追尾対象の移動体が前記監視領域の所定の位置に到達するまでに、前記監視領域の外に退出した移動体の数を計数する計数手段と、前記推定手段が推定した前記移動体の数と、前記計数手段が計数した前記移動体の数に基づき、前記推定した移動体の数を補正するための係数を決定する決定手段と、前記係数に基づき、前記推定手段が推定した前記移動体の数を補正する補正手段とを備える。【選択図】  図１
2019204434.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内の移動体の数を推定する推定手段と、
前記監視領域内の前記移動体のうちから追尾対象の移動体を選定する選定手段と、
前記推定の後、選定された前記追尾対象の移動体が前記監視領域の所定の位置に到達するまでに、前記監視領域の外に退出した移動体の数を計数する計数手段と、
前記推定手段が推定した前記移動体の数と、前記計数手段が計数した前記移動体の数に基づき、前記推定した移動体の数を補正するための係数を決定する決定手段と、
前記係数に基づき、前記推定手段が推定した前記移動体の数を補正する補正手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段は、前記監視領域を撮影した画像を解析して、前記移動体の数を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記推定手段は、前記監視領域内において前記選定された追尾対象の移動体よりも前に位置する移動体の数を推定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記選定された追尾対象の移動体は、前記監視領域内に存在する移動体のうちで最後尾に位置する移動体であることを特徴とする請求項１から３のいずれか1項に記載の情報処理装置。
【請求項５】
前記所定の位置は、前記監視領域において前記選定された追尾対象の被写体が先頭となった位置であることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記監視領域は、前記移動体が通過するゲートの手前側に位置する領域であって、
前記計数手段は、前記ゲートを通過した移動体の数を計数する、
ことを特徴とする請求項１から５のいずれか1項に記載の情報処理装置。
【請求項７】
前記推定手段は、前記移動体の種別ごとに前記数を推定し、
前記計数手段は、前記移動体の種別ごとに前記数を計数し、
前記補正手段は、前記移動体の種別ごとに前記計数を算出し、
前記補正手段は、前記移動体の種別ごとに前記補正を行う
ことを特徴とする請求項１から６のいずれか1項に記載の情報処理装置。
【請求項８】
前記移動体は、車両、または、人物であることを特徴とする請求項１から７のいずれか1項に記載の情報処理装置。
【請求項９】
前記決定手段は、前記係数を周期的に決定することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記決定手段は、前記推定手段が推定した前記移動体の数の変化に応じて、前記変化が閾値以上の場合に、前記係数を新たに決定することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記決定手段が決定した前記係数が所定値より大きい場合に、ユーザに対する通知を出力する出力手段を更に備えることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記決定手段が決定した前記係数の変化量が所定の変化量を超える場合に、ユーザに対する通知を出力する出力手段を更に備えることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１３】
前記出力手段が前記通知を出力した場合に、前記移動体の数の推定精度に関連する設定の変更を前記ユーザから受け付けることを特徴とする請求項１１または１２に記載の情報処理装置。
【請求項１４】
前記選定手段は、前記選定した追尾対象の移動体が前記監視領域の外に退出した後、追尾対象の移動体を前記監視領域内の移動体のうちから更に選定し、
前記計数手段は、前記推定の後、前記選定手段が最後に選定した移動体が前記所定の位置に到達するまでに、前記監視領域の外に退出した移動体の数を計数し、
前記推定手段は、前記選定手段による前記追尾対象の移動体の選定に応じて前記移動体の数の推定を行い、
前記決定手段は、前記推定手段が推定を行った前記移動体の数の合計と、前記計数手段が計数した前記移動体の数に基づき、前記推定した移動体の数を補正するための係数を決定することを特徴とする請求項１から１３のいずれか1項に記載の情報処理装置。
【請求項１５】
監視領域を撮影して画像を生成する撮影手段と、
前記監視領域を撮影した画像を解析して、前記監視領域内の移動体の数を検出する、請求項１から１４のいずれか１項に記載の情報処理装置と
を備えるシステム。
【請求項１６】
推定手段が、監視領域内の移動体の数を推定する推定工程と、
選定手段が、前記監視領域内の前記移動体のうちから追尾対象の移動体を選定する選定工程と、
計数手段が、前記推定の後、選定された前記追尾対象の移動体が前記監視領域の所定の位置に到達するまでに、前記監視領域の外に退出した移動体の数を計数する計数工程と、
決定手段が、前記推定工程において推定された前記移動体の数と、前記計数工程において計数された前記移動体の数に基づき、前記推定した移動体の数を補正するための係数を決定する決定工程と、
補正手段が、前記係数に基づき、前記推定工程において推定された前記移動体の数を補正する補正手段と
を含むことを特徴とする情報処理装置の制御方法。
【請求項１７】
コンピュータを請求項１から１４のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、監視カメラにより撮像された画像を用いて物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果を用いた物体数の推定が様々なシーンで行われている。しかしながら、明るさの変動や外乱といった撮影環境変動等があった場合に物体の未検出・誤検出が発生して画像解析の精度が低下し、物体数の推定精度が下がってしまうという課題がある。そのような課題に対し、特許文献１は、物体の属性を推定し、属性別に計数した計数値に対し、属性の推定誤りを考慮した補正を行う技術を提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９７５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、属性別に計数する際に物体の属性の推定を誤ってしまった場合には有効だが、移動体の検出精度が低下し物体そのものが未検出となった場合には、移動体数を精度良く推定することができないという課題がある。
【０００５】
そこで、本発明は、移動体の検出精度が低下した場合でも移動体数をより精度良く推定可能にするための技術を提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するための発明は、情報処理装置であって、
監視領域内の移動体の数を推定する推定手段と、
前記監視領域内の前記移動体のうちから追尾対象の移動体を選定する選定手段と、
前記推定の後、選定された前記追尾対象の移動体が前記監視領域の所定の位置に到達するまでに、前記監視領域の外に退出した移動体の数を計数する計数手段と、
前記推定手段が推定した前記移動体の数と、前記計数手段が計数した前記移動体の数に基づき、前記推定した移動体の数を補正するための係数を決定する決定手段と、
前記係数に基づき、前記推定手段が推定した前記移動体の数を補正する補正手段とを備える。
【発明の効果】
【０００７】
本発明によれば、移動体の検出精度が低下した場合でも移動体数をより精度良く推定可能とすることができる。
【図面の簡単な説明】
【０００８】
【図１】発明の実施形態に対応するシステムの構成例を示すブロック図。
【図２】発明の実施形態に対応する情報処理装置のハードウェア構成例を示すブロック図、及び、画像処理部１３５の機能構成の一例を示すブロック図。
【図３】発明の実施形態１に対応するシステムが適用される監視領域の一例を示す図、発明の実施形態に対応する撮影画像の一例を示す図、解析処理を説明するための図。
【図４】発明の実施形態１に対応する処理の一例を示すフローチャート。
【図５】発明の実施形態２に対応するシステムが適用される監視領域の一例を示す図、発明の実施形態に対応する撮影画像の一例を示す図、表示画面の一例を示す図。
【図６】発明の実施形態１に対応する処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の一実施形態である。
【００１０】
［実施形態１］
まず、発明の第1の実施形態に係るシステムの構成について、図１のブロック図を用いて説明する。図１は、発明の実施形態１に係るシステムの構成例を示すブロック図である。図１において、システム１００は、撮影装置１１０、計数装置１２０、情報処理装置１３０、及び、表示装置１４０がネットワーク１５０を介して相互に接続されて構成されている。図１に示したシステム１００の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
【００１１】
撮影装置１１０は、撮像部１１１、制御部１１２、及び通信部１１３を有することができる。撮像部１１１は、光学系、撮像センサ、現像処理部、符号化部等を含むことができ、光学系は、撮像センサに到達する被写体像の倍率やピント位置、あるいは光量を調整している。光学系は、レンズを移動させるためのモータ等の所定の駆動機構を含み、当該駆動機構は制御部１１２からの指示に応じて動作が制御される。撮像センサは、撮像面に結像された光像を光電変換して得られたアナログ画像信号をデジタル画像信号に変換して出力するようにＡ／Ｄ変換器を含んで構成することができる。現像処理部は、撮像センサから出力されたデジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施することができる。符号化部では、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。
【００１２】
撮像部１１１では、例えば、１秒間に３０フレーム分の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。制御部１１２は、撮影装置１１０の画角や撮影方向、フレームレート、取得する画像の種類等の撮影条件を調整する。撮影条件の調整は、ユーザからの指示に応じて実行することもできるし、撮影装置１１０に予め記憶された設定値に応じて行うこともできる。ユーザから指示を行う場合は、ネットワーク１５０を介して情報処理装置１３０や表示装置１４０から行なってもよいし、直接、撮影装置１１０に接続されたコンソール端末を介して行ってもよい。また、制御部１１２は、情報処理装置１３０や表示装置１４０から送信される命令に応じて、撮影開始／終了など撮像部１１１の制御を行う。
【００１３】
通信部１１３は、撮像部１１１が撮影により生成した画像データをネットワーク１５０経由で、計数装置１２０、情報処理装置１３０、表示装置１４０に送信するための通信インタフェースである。通信部１１３は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。また、通信部１１３は、情報処理装置１３０や表示装置１４０から撮影装置１１０を制御するための設定情報や命令を受信し、制御部１１２に供給する。制御部１１２は、その設定情報や命令に従って撮影装置１１０の動作を制御する。
【００１４】
計数装置１２０は、本システム１００が適用される監視領域を通過する移動体の数をカウント（計数、積算、累積）する。本実施形態では、移動体として車両を想定した場合を説明する。計数装置１２０は、カウントした車両台数のある時点における積算値を情報処理装置１３０に通知することができる。また、通知タイミングは情報処理装置１３０により指示することができる。
【００１５】
情報処理装置１３０は、制御部１３１、表示部１３２、記憶部１３３、操作部１３４、画像処理部１３５、通信部１３６を含んで構成される。制御部１３１は、情報処理装置１３０の各部の動作を制御する。表示部１３２は、撮影装置１１０から取得した画像データを表示出力する他、情報処理装置１３０における各種処理の設定情報、あるいは、撮影装置１１０の設定情報や撮影パラメータ等を設定、変更するための設定用画面、通知出力のための画面表示を行うことができる。また、表示部１３２は、画像出力の他、音声出力を行う機能を有していてもよい。
【００１６】
記憶部１３３は、撮影装置１１０から受信した画像データを記憶したり、画像処理部１３５における処理に用いられる情報や、処理結果を記憶したりする。操作部１３４は、情報処理装置１３０の操作者からの操作を受け付けることができる。具体的に、撮影装置１１０、計数装置１２０、情報処理装置１３０の設定を変更するための操作を受け付けることができ、キーボード、マウス、各種操作ボタン、タッチパネル等を含むことができる。撮影装置１１０がネットワーク１５０に複数台接続されている場合、操作部１３４により、１つの画面で複数台分の画像データを表示部１３２に表示するための指示入力を行うことができる。また、画面上で１つの画像データを選択して、その画像データを表示部１３２に表示するための指示入力を行うこともできる。また、各種設定情報を設定、変更するための指示入力を行うことができる。
【００１７】
画像処理部１３５は、本実施形態に対応する画像解析処理を実行し、解析結果を出力する処理部である。当該解析処理には、例えば、撮影装置１１０から取得した画像データから、所定の領域内に存在する車両の位置、車両の種別を検出し、検出された車両台数を種別ごとに計数する、あるいは、推定することが含まれる。また、推定した車両台数を補正係数に基づき補正する処理を実行することができる。画像処理部１３５の機能構成、及び、動作の詳細は後述する。
【００１８】
通信部１３６は、撮影装置１１０から送信される画像データを受信する。また、通信部１３６は、情報処理装置１３０のユーザが表示部１３２や操作部１３４を使用して設定した設定情報や制御情報、配信命令を撮影装置１１０や計数装置１２０に送信することができる。また、情報処理装置１３０で画像データを解析処理した結果（上記通知を含む）をネットワーク１５０に接続された表示装置１４０に出力することができる。
【００１９】
表示装置１４０は、撮影装置１１０が撮影する画像を表示するとともに、情報処理装置１３０から受信した車両台数を出力することができる。また、撮影装置１１０で撮影する撮影条件・撮影パラメータを指示・変更するためのユーザーインタフェースを提供したり、計数装置１２０の設定を行ったり、配信された映像を表示することもできる。
【００２０】
ネットワーク１５０は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１５０は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。撮影装置１１０は、指定された撮影条件に従ってライブ映像を撮影し、得られた画像データをネットワーク１５０経由で各装置に配信することができる。
【００２１】
本実施形態では１台の撮影装置１１０を利用する場合を説明するが、図１に示すシステム１００構成において、撮影装置１１０の台数は１台以上の任意の数とすることができ、台数に限定はない。計数装置１２０、情報処理装置１３０、及び表示装置１４０は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。
【００２２】
次に、本実施形態に対応するシステム１００を構成する情報処理装置１３０の概略構成を説明する。図２（Ａ）は、情報処理装置１３０のハードウェア構成の一例を示すブロック図である。上述した表示装置１４０も、同様或いは同等のハードウェア構成として構成しても良い。
【００２３】
図２（Ａ）において、ＣＰＵ２００は、制御部１３１として動作することができ、ハードディスク装置（以下、ＨＤと呼ぶ）２０５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、画像処理部１３５として動作することも可能であって、撮影装置１１０から提供された画像データの解析処理等を実行する。さらには、インタフェース（Ｉ／Ｆ）２０８を介した外部の表示装置１４０とのデータ送受信を制御する。なお、後述する図４及び図６における処理もＣＰＵ２００が対応する処理プログラムを実行することにより装置全体を制御して実現することができる。
【００２４】
ＲＯＭ２０１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２０２は各種データを一時記憶し、ＣＰＵ２００の主メモリ、ワーク領域等として機能する。また、撮影装置１１０から受信した情報を一時的に記憶する。外部記憶ドライブ２０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。
【００２５】
ハードディスク装置２０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
【００２６】
指示入力装置２０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２０７は、指示入力装置２０６から入力されたコマンドや、それに対する応答出力等を出力する。出力装置２０７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２０９は、情報処理装置１３０内のデータの流れを司る。
【００２７】
インタフェース（以下、Ｉ／Ｆという）２０８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００２８】
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２０５からＲＡＭ２０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２００で実行することも可能である。さらに、メディア２０４から対応プログラム及び関連データを直接ＲＡＭ２０２にロードして実行させることもできる。
【００２９】
次に、図２（Ｂ）を参照して、本実施形態に対応する画像処理部１３５の機能構成について説明する。図２（Ｂ）は、発明の実施形態に対応する画像処理部１３５の機能構成例を示すブロック図である。画像処理部１３５の各機能は、専用のハードウェアにより実現されてもよいし、それらの機能一部あるいはすべてが、ＣＰＵ２００がＨＤ２０５等に格納されたプログラムを実行することにより実現してもよい。
【００３０】
画像処理部１３５は、通過数計測部２１１、認識部２１２、追尾部２１３、推定部２１４、係数決定部２１５、補正部２１６、を含んで構成することができる。当該各機能ブロックを利用することにより、情報処理装置１３０は、撮影装置１１０から提供された画像データから車両を認識してその台数を推定することができる。また、認識した車両の追尾結果に応じて計数装置１２０から提供された車両台数に基づき、推定した車両台数を補正し、その結果をユーザに提示する。車両認識技術、車両台数推定技術、追尾技術はいずれも公知の技術であるため、必要な範囲において記載することとし、詳細については適宜省略する。
【００３１】
通過数計測部２１１は、計数装置１２０から提供された通過車両台数の積算値を読みとり、現在時刻とともに出力する。認識部２１２は、撮影装置１１０から提供された画像を解析し、画像中の車両を認識して車両種別（車種）と位置を判定する。本実施形態に係る車両認識技術では、例えば公知の背景差分法を用いて道路上の移動体を検出し、その領域を囲む矩形の重心位置（ｘ，ｙ）を計算し、矩形の大きさによって車種を分類することができる。このとき、図３（Ｃ）に示すように画像の横方向をＸ軸、縦方向をＹ軸とし、原点は画像の左上とする。あるいは、後述する追尾対象の移動体の位置検出との関連において、原点位置がＹ軸上のより下側の点３０６となるように調整してもよい。本実施形態では、車種は乗用車・大型車の２種類とするが、３種類以上に分類してもよい。また、車種の数は、後述するＥＴＣゲートにおいて判別可能な種類に対応させてもよい。
【００３２】
追尾部２１３は、画像中で認識された車両のうち所定の車両を追尾対象（追尾ターゲット）として時間方向に関連付けて、その移動を追跡する。本実施形態に係る追尾技術では、まず、前フレームに含まれる所定の車両の中心位置と移動ベクトルから現フレームにおける車両の位置を予測する。そして、車両の予測位置と現フレームに含まれる車両の中心位置及び車種とに基づいて、車両の対応付けを行う。具体的には、同じ車種と認識された車両それぞれについて、原フレームにおける車両位置と、車両の予測位置との間の距離が最も短くなる車両の組み合わせを探索する。追尾部２１３は、所定の車両の現在の車両の位置を出力する。推定部２１４は、認識部２１２により認識された車両の位置及び種別に基づき、監視領域内に存在している車両台数を種別ごとに推定し、現在時刻とともに出力する。
【００３３】
係数決定部２１５は、車両台数、通過車両台数の積算値、及び、追尾結果から、推定された車両台数を補正するために用いる補正係数を決定する。具体的には、まず台数推定を行った際（時刻ｔとする）に画面内に映っている車両のうち、最後尾に位置する車両が最前列に来た時点（時刻ｔ'とする）で、推定台数の車両が監視領域の外に時間（ｔ'−ｔ）で抜け出て行った（退出した）と仮定する。そして、推定台数（Ｎとする）と時刻ｔおよび時刻ｔ'における通過車両台数から時間（ｔ'−ｔ）で通過し、計数装置１２０によりカウントされた車両の台数（Ｎ'とする）から、補正係数ｄを計算する。すなわち、
ｄ＝Ｎ'／Ｎ・・・（式１）
とする。係数決定部２１５、当該計算により得られた補正係数ｄを補正部２１６に出力する。補正部２１６は、係数決定部２１５で算出された補正係数ｄを用いて、車両の推定台数を補正し、制御部１３１に出力する。
【００３４】
本実施形態のシステム１００は、図３（Ａ）に示すような監視領域（監視対象区域）に対して適用することができる。監視領域３０１は、例えば、高速道路の料金所等の、複数台の車両が通過するゲート３０２よりも上流側（各車両の移動方向とは反対方向の側）に位置する領域、あるいは、ゲート３０２の手前側に位置する領域とすることができる。本実施形態では、撮影装置１１０によりゲート３０２を通過しようとする車両を広範囲に撮影するため、例えば、ゲート３０２上方から俯瞰して撮影を行うことができる。このとき、各車両はゲート３０２に向かって、図下側から図上側の方向に移動している。このときの撮影画像は例えば図３（Ｂ）に示すようになり、そのうち、マーク３０４で示される車両は、認識部２１２により、車種及び位置が特定された車両を示す。
【００３５】
本実施形態に対応する計数装置１２０は、ゲート３０２を通過した車両（例えば、車両３０３）を計数可能に設置される。例えば、ＥＴＣの場合にはゲートが開いたことが検出されると、計数装置１２０にカウント値を更新するための通知が送信されてもよい。この通知にはＥＴＣの車両検知器で検知された車種情報を含むことができる。その他、ゲートを通過した車両の台数を検出する公知の任意の方法を利用することができる。
【００３６】
次に、情報処理装置１３０が行う本実施形態に対応する処理について、図４のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。
【００３７】
まず、Ｓ４０１において、認識部２１２は、撮影装置１１０から提供された画像を解析し、画像中の車両を認識して車種と位置を出力する。このときの認識結果は、例えば図３（Ｂ）に示すようになる。車両と判定された矩形領域にはマーク３０４が付され、車両と判定されなかった矩形領域にはマーク３０４が付されていない。例えば、矩形領域３０５は本来車両と判定されるべきところ、誤認識により車両と判定されなかったものである。図３（Ｂ）では、車両と認識されなかった矩形領域が４つ存在している。
【００３８】
続くＳ４０２において、推定部２１４は、認識部２１２における車両の認識結果に基づいて、車両の台数を車種毎に推定する。図３（Ｂ）の場合、乗用車が１０台、大型車が１台となる。続くＳ４０３において、制御部１３１は、情報処理装置１３０が補正係数を決定するモード（係数決定モード）にあるかどうかを判定する。係数決定モードとは、推定した車両台数を補正するための上述の補正係数ｄを算出するモードであり、本実施形態では一定時間毎（例えば１時間に１回）に周期的に係数決定モードを実施することができる。あるいは、所定の実施条件を満たす場合に係数決定モードを実施することができる。係数決定モードにある、あるいは、係数決定モードを実行しようとする場合、処理はＳ４０４へ進む。また、係数決定モードにない場合、あるいは、係数決定モードを実行しない場合、処理はＳ４１２へ移行する。Ｓ４０４において、制御部１３１は、追尾ターゲットが選定済みであるか否かを判定する。追尾ターゲットが選定済みであれば、処理はＳ４０５へ進み、追尾ターゲットが選定済みでなければ処理はＳ４０７へ進む。
【００３９】
Ｓ４０５において、制御部１３１は、追尾ターゲットの選定を行う。追尾ターゲットの選定は、Ｓ４０１における車両認識、及び、Ｓ４０２における台数推定を行った画像と同一画像について行う。本実施形態では、画面内に映っている車両のうち、最後尾に位置する車両を追尾ターゲットとして選択する。例えば、図３（Ｃ）に示すような画像が撮影装置１１０から提供される場合に、Ｓ４０１で認識部２１２が認識した車両のうち、最も下側に位置する車両を追尾ターゲットとして選択する。最も下側の車両は、重心位置のｙ座標の最も大きいものとすることができる。図３（Ｃ）では、車両３０５を追尾ターゲットに選定した例を示している。
【００４０】
続くＳ４０６において、通過数計測部２１１は、現在の通過車両台数の積算値を現在時刻とともに、計数装置１２０から取得する。計数装置１２０は、所定の計測開始時から車両台数を積算しており、通過数計測部２１１は、このときの計数値を計数装置１２０から取得する。この場合、例えば、現在時刻における積算値として乗用車１０００台・大型車８００台という値が得られたとする。次に処理はＳ４１３に進む。
【００４１】
Ｓ４０４で、追尾ターゲットが選定済みと判定されて処理がＳ４０７に進んだ場合、Ｓ４０７において追尾部２１３は、撮影装置１１０から時間の経過とともに提供される各画像について認識部２１２で認識された車両のうち、追尾ターゲットの車両を時間方向で関連付ける。追尾部２１３は、最新に撮影装置１１０から提供された画像における追尾ターゲットの位置（現在位置）を、制御部１３１に出力する。続くＳ４０８において、制御部１３１は、追尾ターゲットが監視領域３０１内の所定位置に到達しているかどうかを判定する。図３（Ｄ）は、追尾ターゲットに選定された車両３０５が、監視領域３０１内の所定位置、例えば、最前列に位置している様子の一例を示す。本実施形態では、例えば、追尾ターゲットの車両の重心位置のｙ座標が所定値になった場合に最前列に位置していると判定することができる。この所定値に対応する位置（図３（Ｃ）において点３０６で示している）が原点となるように原点を調整してもよい。また、追尾ターゲットの車両が画面上から消滅した（重心位置のｙ座標が所定値（ゲート３０２に差し掛かっていることを示す値）、あるいは、矩形領域の大きさが所定サイズになった等）場合に、追尾ターゲットが画面上で最前列に位置していると判定してもよい。このとき、追尾ターゲットの車両が画面上から消滅する際（あるいは、その直前）のｙ座標を原点位置とするように調整してもよい。原点位置を所定位置に応じて調整することにより、ｙ軸の値が０になったことに応じて、追尾ターゲットの車両が所定位置に到達したことを判定することができる。追尾ターゲットが最前列に位置していると判定されると、処理はＳ４０９へ進み、判定されなかった場合、処理はＳ４１３へ進む。
【００４２】
Ｓ４０９において、通過数計測部２１１は、現在の通過車両台数の積算値を現在時刻とともに計数装置１２０から取得する。ここでは、積算値として乗用車１０１３台・大型車８０２台という値が得られたとする。続くＳ４１０において、係数決定部２１５は、Ｓ４０２で推定した車両台数と、Ｓ４０６及びＳ４０９でそれぞれ得られた車両台数とに基づき補正係数ｄを算出する。上記の具体例を適用すると、補正係数ｄは、乗用車、大型車についてそれぞれ以下のように求めることができる。まず、乗用車に関しては式１より、
ｄ（乗用車）＝（１０１３−１０００）÷１０＝１．３
大型車に関しても同様にして、
ｄ（大型車）＝（８０２−８００）÷１＝２
となる。
【００４３】
なお、Ｓ４１０での補正係数算出に当たり、Ｓ４０８の所定位置到達の判定基準に応じて推定車両台数を修正して用いることができる。例えば、所定位置が監視領域３０１内の先頭位置であり、監視領域外、すなわちゲート３０２を通過した後でない場合、追尾ターゲットは通過車両台数の中にまだ含まれていない。そこで、推定台数から追尾ターゲットの台数分を差し引いて算出を行う。また、所定位置が監視領域の外で、追尾ターゲットがゲート３０２を通過したことに対応している場合には、通過車両台数に含まれているので、推定台数を修正しなくてよい。また、係数決定モードにおいては、事前に推定部２１４が推定台数から追尾ターゲットの台数を差し引いておいてもよい。
【００４４】
続くＳ４１１において、制御部１３１は、係数決定モードを解除し、処理はＳ４１３に進む。また、Ｓ４０３において係数決定モードでないと判定され処理がＳ４１２に進んだ場合、Ｓ４１２では、補正部２１６がＳ４０２において推定された車両台数に、Ｓ４１０で算出した補正係数ｄを乗算して、車両台数を補正し、本システムにおける車両台数の検出結果として出力する。具体的には、乗用車の推定台数は、
Ｎ（乗用車）＝１０×ｄ（乗用車）＝１０×１．３＝１３（台）
Ｎ（大型車）＝１×ｄ（大型車）＝１×２＝２（台）
として出力される。
【００４５】
また、Ｓ４１３において、制御部１３１は、操作部１３４を介してユーザから終了コマンドを受け取ったかどうか、あるいは、所定の終了条件に合致するかどうかを判定し、終了すると判定した場合、本処理を終了する。終了しないと判定した場合、処理はＳ４０１に戻る。
【００４６】
＜変形例＞
上記では、１台の車両を追尾ターゲットとして選択して、追尾ターゲットが列の最後尾から最前列に達するまでの車両台数に基づいて補正係数計算を行った。しかし、発明の実施形態は１台の追尾ターゲットの場合に限定されるものではなく、複数台の追尾ターゲットを設定してもよい。例えば、追尾ターゲットを最初に選定した時点での通過車両台数（Ｐ１）を通過数計測部２１１が計測するとともに、推定部２１４が台数推定を行う。その後、追加の追尾ターゲットが選定されるたびに推定部２１４が台数推定を行い、最後に選定された追尾ターゲットが最前列に達した時点で通過数計測部２１１は通過車両台数（Ｐ２）を計測する。Ｐ２とＰ１との差分が実際に通過した台数であり、通過台数とその間に推定した台数の合計との割合により補正係数ｄを求めることができる。
【００４７】
具体的に２台の追尾ターゲットを選定する場合を説明する。まず、制御部１３１が第１の追尾ターゲットを選定し、通過数計測部２１１が通過車両台数を計測する。このときの通過台数をＰ１とする。また、推定部２１４は車両台数を車種ごとに推定する。このときの推定台数をＮ１とする。次に、制御部１３１は、第１の追尾ターゲットが最後尾から最前列に達した時点で列の最後尾に存在する車両を第２の追尾ターゲットに選定する。推定部２１４は、このときの車両台数を推定する。ここでの推定台数をＮ２とする。そして、第２の追尾ターゲットが最前列に達した時点で、通過数計測部２１１が通過車両台数を計測する。このときの通過台数をＰ２とする。
【００４８】
このときの補正係数ｄは、
ｄ＝（Ｐ２−Ｐ１）÷（Ｎ１＋Ｎ２）    （式２）
で求めることができる。追尾ターゲットが３台以上の場合、加算される推定台数Ｎの数が更に増えるが上記式２と同様にして求めることができる。
【００４９】
また上述の実施形態で示した補正係数の計算方法は一例であり、通過車両台数と推定台数を用いるものであればどのような計算式を使っても良い。例えば、ｄ＝Ｎ'−Ｎとし、台数補正においては、ｄを推定台数に加算しても良い。その際、推定された台数Ｎの大きさに応じて補正係数を修正して加算してもよい。例えば、補正係数を求める際の推定台数Ｎｃと、台数補正を行う場合に推定された台数Ｎｅとの割合に基づいて補正係数ｄをｄ'＝ｄ×（Ｎｅ／Ｎｃ）と修正して用いることができる。これは、補正係数を算出した際の推定台数と、台数補正を行う場合の推定台数とに乖離がある場合に、単純に補正係数ｄを加算すると適正な補正とならないおそれがあり、そのような状況に対応するためである。
【００５０】
また、補正係数の算出に用いる推定台数を求めるエリアを一部に限定（例えば、列の中心から最後尾まで）し、そのエリアの推定台数と、そのエリアを追尾ターゲットが通過する時間の通過車両台数から補正係数を求めることも可能である。
【００５１】
さらに、本実施形態における係数決定モードを実施する場合、Ｓ４０２において車両台数を推定する場合に監視領域３０１内で追尾ターゲットに選定された車両よりもゲート３０２側に位置する車両の台数を推定するようにしてもよい。そして所定位置に到達したか否かを、追尾ターゲットよりも前方に位置していた車両が、監視領域３０１から退出し、当該監視領域内に存在しなくなったかどうかに基づいて判定してもよい。
【００５２】
さらに上述の実施形態では一定期間毎に係数決定モードを実行することとしたが、補正係数が変化した直後は一定期間よりも短い頻度で係数決定モードを実行しても良いし、ユーザから実行指示を受け付けた場合に係数決定モードを実行してもよい。また、推定台数の変化に基づいて、前回の推定台数からの変化が所定の閾値以上の場合に係数決定モードを実行してもよい。
【００５３】
さらに上述の実施形態に加え、誤検知を抑制するため、画角に含まれる撮影領域のうち、車両台数を計測したい領域のみを認識処理対象としても良い。本実施形態の場合、道路を認識処理対象とすることで、より精度良く車両を認識することができる。加えて上述の実施形態では、車種は乗用車・大型車の２種類としたが、大型車をバスやトラック等に細分化したり、単車を加えたりするなど、様々な車種を設定可能である。また、上述の実施形態で用いた、車両認識技術、車両台数推定技術、追尾技術はいずれも公知であり、他の公知技術を用いることも可能である。例えば、追尾技術に関しては特定の場所（例えば、画面上の上端と下端）でナンバープレート認識を行うようにして、同一のナンバープレートの車両を対応付けても良い。
【００５４】
以上の本実施形態によれば、撮影環境変動等に起因して車両台数の推定精度が低下した場合であっても、実際の通過台数に基づき得られた補正係数を利用することで、監視領域内に存在する車両の台数を車種別に精度良く推定することが可能となる。これにより、ゲートより上流側における車両の渋滞状況を精度良く把握可能となる。
【００５５】
［実施形態２］
上述の実施形態１では車両を検出対象とした場合を説明したが、本実施形態では検出対象を人物とした場合のシステムの動作について説明する。本実施形態に対応するシステム１００、及び、各装置の構成は実施形態１に示したものと同様である。以下では実施形態１との差分について重点的に説明する。
【００５６】
情報処理装置１３０は、撮影装置１１０から提供された画像から人物を認識してその人数を推定する。計数装置１２０により取得された人数、及び、追尾ターゲットに選定した人物の追尾結果から、推定した人数を補正し、その結果をユーザに提示する。人物認識技術、人数推定技術、追尾技術はいずれも公知の技術であり、その詳細については後述する。
【００５７】
本実施形態のシステム１００は、図５（Ａ）に示すような監視領域（監視対象区域）に対して適用することができる。監視領域５０１は、例えば、イベント会場の入場口等の、複数の人物が通過するゲート５０２よりも上流側に位置する領域、あるいは、ゲート５０２の手前側に位置する領域とすることができる。本実施形態でも、撮影装置１１０によりゲート５０２を通過しようとする人物を広範囲に撮影するため、例えば、ゲート５０２の上方から俯瞰して撮影を行うことができる。このとき、各人物はゲート５０２に向かって、図下側から図上側の方向に移動している。本実施形態に対応する計数装置１２０は、ゲート５０２を通過した人物（例えば、人物５０３）を計数可能に設置される。例えば、自動改札ゲートの場合には、ゲートの通過が検出されると、計数装置１２０にカウント値を更新するための通知が送信されてもよい。その他、ゲートを通過した人物の台数を検出する公知の任意の方法を利用することができる。
【００５８】
本実施形態における撮影装置１１０、計数装置１２０、情報処理装置１３０における各処理は、基本的には実施形態１における車両が人物に置き換わったものである。但し、実施形態１では、認識部２１２は車両の車種を判定していたが、本実施形態では検出対象が人物であるので、種別を判定せず、人物の位置だけを検出してもよい。また、種別として、大人と子供、男性と女性等を区別してもよい。これらの種別は、実施形態１における車種と同様に扱うことができる。認識部２１２は、入力された画像の特徴に基づいて、画像中の人物の顔を検出して人物の顔の位置から人物領域を推定してその領域を囲む矩形の重心位置（ｘ，ｙ）を計算することができる。
【００５９】
次に、情報処理装置１３０が行う本実施形態に対応する処理について、図６のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。
【００６０】
まず、Ｓ６０１において、認識部２１２は、撮影装置１１０から提供された画像を解析し、画像中の人物を認識して位置を出力する。このときの認識結果は、例えば図５（Ｂ）に示すようになる。人物と判定された領域にはマーク５０４が付され、人物と判定されなかった矩形領域にはマーク５０４が付されていない。また、認識部２１２は、画像解析により、認識した人物が、大人、子供のいずれであるか、あるいは、男性、女性のいずれであるかといった人物の種別を更に判定してもよい。以下では、説明の簡単のため人物の種別については判定しない場合を説明するが、人物の種別を判定する場合は、実施形態１の車種と同様に扱うことができる。
【００６１】
続くＳ６０２において、推定部２１４は、認識部２１２における人物の認識結果に基づいて、人物の人数を推定する。続くＳ６０３において、制御部１３１は、情報処理装置１３０が補正係数を決定するモード（係数決定モード）にあるかどうかを判定する。係数決定モードとは、推定した車両台数を補正するための上述の補正係数ｄを算出するモードであり、本実施形態では一定時間毎（例えば１時間に１回）に係数決定モードを実施することができる。また、後述するＳ６１３において認識処理の設定パラメータが変更された場合には、係数決定モードを実施することができる。係数決定モードにある場合、処理はＳ６０４へ進み、係数決定モードにない場合、処理はＳ６１４へ移行する。Ｓ６０４において、制御部１３１は、追尾ターゲットが選定済みであるか否かを判定する。追尾ターゲットが選定済みであれば、処理はＳ６０５へ進み、追尾ターゲットが選定済みでなければ処理はＳ６０７へ進む。
【００６２】
Ｓ６０５において、制御部１３１は、追尾ターゲットの選定を行う。本実施形態では、画面内に映っている人物のうち、最後尾に位置する人物を追尾ターゲットとして選択する。例えば、図５（Ｂ）に示すような画像が撮影装置１１０から提供される場合に、Ｓ６０１で認識部２１２が認識した人物のうち、最も下側に位置する人物を追尾ターゲットとして選択する。最も下側の人物は、重心位置のｙ座標の最も大きいものとすることができる。図５（Ｂ）では、人物５０５を追尾ターゲットに選定した例を示している。画像に適用される座標系は、図３（Ｃ）に示したものと同様とすることができる。
【００６３】
続くＳ６０６において、通過数計測部２１１は、現在の通過人数の積算値を現在時刻とともに、計数装置１２０から取得する。計数装置１２０は、所定の計測開始時から人数を積算しており、通過数計測部２１１は現時点での計数値を計数装置１２０から取得する。次に処理はＳ６１４に進む。
【００６４】
Ｓ６０４で、追尾ターゲットが選定済みと判定されて処理がＳ６０７に進んだ場合、Ｓ６０７において追尾部２１３は、撮影装置１１０から時間の経過とともに提供される各画像について認識部２１２で認識された人物のうち、追尾ターゲットの人物を時間方向で関連付ける。追尾部２１３は、最新に撮影装置１１０から提供された画像における追尾ターゲットの位置（現在位置）を、制御部１３１に出力する。続くＳ６０８において、制御部１３１は、追尾ターゲットが監視領域５０１内の所定位置に到達しているかどうかを判定する。ここで所定位置として、例えばゲート５０２の待ち行列における最前列に位置しているかどうかを判定することができる。所定位置の判定方法は実施形態１のＳ４０８との関連で説明したのと同様である。追尾ターゲットが所定位置に位置していると判定されると、処理はＳ６０９へ進み、判定されなかった場合、処理はＳ６１５へ進む。
【００６５】
Ｓ６０９において、通過数計測部２１１は、現在の通過人数の積算値を現在時刻とともに計数装置１２０から取得する。続くＳ６１０において、係数決定部２１５は、Ｓ６０２で推定した人数と、Ｓ６０６及びＳ６０９でそれぞれ得られた人数とに基づき補正係数ｄを算出する。補正係数ｄの算出方法は実施形態１で説明したのと同様である。
【００６６】
続くＳ６１１において、制御部１３１は、係数決定モードを解除し、処理はＳ６１２に進む。Ｓ６１２において、制御部１３１は、Ｓ６１０で算出された補正係数が所定値（閾値）以上（例えば、３以上）かどうかを判定する。閾値以上と判定された場合、処理はＳ６１３へ進む。一方、閾値以上と判定されなかった場合、処理はＳ６１５へ進む。Ｓ６１３において、制御部１３１はアラート画面を生成し、表示部１３２へ出力する。さらに、表示装置１４０に出力してもよい。
【００６７】
このときのアラート画面の一例を図５（Ｃ）に示す。ここでは、認識精度が落ちていることを示すメッセージを表示し、ユーザに対して認識処理を実行するために設定可能なパラメータ、あるいは、撮影装置１１０における撮影条件、撮影パラメータの変更を促す。図５（Ｃ）では、「人物の認識率が下がっている可能性があります。認識の設定を確認してください」というアラートメッセージと、認識で使用した画像と認識結果を出力している。この画面において、ＯＫボタンがクリックされた場合には、パラメータ設定画面に移行して、ユーザに、認識部２１２における認識処理のためのパラメータの設定変更、あるいは、撮影装置１１０における各種撮影パラメータの変更を可能とすることができる。
【００６８】
Ｓ６１３における通知及び設定変更が終了すると、処理はＳ６１５に進む。また、Ｓ６０３において係数決定モードでないと判定され処理がＳ６１４に進んだ場合、Ｓ６１４では、補正部２１６がＳ６０２において推定された人数に、Ｓ６１０で算出した補正係数ｄを乗算して、人数を補正し、本システムにおける人数の検出結果として出力する。また、Ｓ６１５において、制御部１３１は、操作部１３４を介してユーザから終了コマンドを受け取ったかどうか、あるいは、所定の終了条件に合致するかどうかを判定し、終了すると判定した場合、本処理を終了する。終了しないと判定した場合、処理はＳ６０１に戻る。
【００６９】
＜変形例＞
上述の実施形態２では、補正係数が閾値以上と判定された場合にアラートを出力するようにしたが、その他の判定基準を用いることも可能である。例えば、補正係数を求めた時刻とともに記憶しておき、補正係数の変化量が閾値以上の場合にアラートを出力するようにしても良い。当該変化量は、所定時間内における変化量であってもよいし、前回求めた補正係数と今回求めた補正係数との間の変化量であってもよい。また上述の実施形態２におけるアラートは一例であり、ユーザに認識の精度低下を通知するものであれば何でも良い。また、認識の設定ウィンドウを同時に表示するようにしても良い。さらに、上述の実施形態で用いた人物認識技術は公知であり、他の公知技術を用いることも可能である。
【００７０】
また、Ｓ６１３における通知及び設定変更の処理は、本実施形態における処理として説明したが、実施形態１において当該構成を採用してもよい。
【００７１】
また、移動体として実施形態１では車両、実施形態２とでは人物を想定した場合を説明した。しかし、移動体をこれらに限定する必要はなく、所定のゲートを通過するために、ゲートの手前側の監視領域に存在し、かつ、当該ゲートを通過して監視領域の外へ退出していく監視対象物であれば任意のものとすることができる。
【００７２】
以上の本実施形態によれば、撮影環境変動等に起因して人数の推定精度が低下した場合であっても、実際の通過人数に基づき得られた補正係数を利用することで、監視領域内に存在する人物数を精度良く推定することが可能となる。これにより、ゲートより上流側における混雑状況を精度良く把握可能となる。
【００７３】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１００：システム、１１０：撮影装置、１２０：計数装置、１３０：情報処理装置、１４０：表示装置、１５０：ネットワーク
【図１】
2019204434.tif 000003
【図２】
2019204434.tif 000004
【図３】
2019204434.tif 000005
【図４】
2019204434.tif 000006
【図５】
2019204434.tif 000007
【図６】
2019204434.tif 000008