(57)【要約】【課題】  人物同士の重なりによって、一方のカメラにしか撮影できない人物に対して、一部の画角からの人物の特徴しか捉えることができない。【解決手段】  顔および全身の画像を取得する第一の画像取得手段と、人物を見下ろした画像を取得する第二の画像取得手段と、第一の画像取得手段で取得した画像と第二の画像取得手段で取得した画像とから、複数の人物領域を抽出する人物領域抽出手段と、人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する人物特徴抽出手段と、第一の人物特徴抽出手段で抽出した人物の特徴と、第二の人物特徴抽出手段で抽出した人物の特徴を比較する特徴比較手段と、比較した結果に基づいて、第一の画像取得手段で画像を取得できなかった人物を特定する人物特定手段。【選択図】  図４
2020067784.tif 000002
【特許請求の範囲】
【請求項１】
顔および全身の画像を取得する第一の画像取得手段と、
人物を見下ろした画像を取得する第二の画像取得手段と、
前記第一の画像取得手段で取得した画像から、複数の人物領域を抽出する第一の人物領域抽出手段と、
前記第二の画像取得手段で取得した画像から、複数の人物領域を抽出する第二の人物領域抽出手段と、
前記第一の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第一の人物特徴抽出手段と、
前記第二の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第二の人物特徴抽出手段と、
前記第一の人物特徴抽出手段で抽出した人物の特徴と、前記第二の人物特徴抽出手段で抽出した人物の特徴を比較する特徴比較手段と、
前記特徴比較手段が特徴を比較した結果に基づいて、前記第一の画像取得手段で画像を取得できなかった人物を特定する人物特定手段を、備えることを特徴とする画像処理装置。
【請求項２】
前記人物特定手段が、画像を取得できなかったと特定した人物の絶対座標を取得する絶対座標取得手段と、
前記絶対座標取得手段で取得した人物の絶対座標に基づいて、前記第一の画像取得手段の画角を変更する第一の画角変更手段を、更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記絶対座標取得手段が、前記第一の画像取得手段と、前記第二の画像取得手段の視差に基づいて、前記人物特定手段が画像を取得できなかったと特定した人物の絶対座標を取得することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記絶対座標取得手段が、前記第二の画像取得手段の絶対座標と、画像上の座標との対応付けを管理する情報を用いて、前記人物特定手段が画像を取得できなかったと特定した人物の絶対座標を取得することを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記特徴比較手段は、前記第一の人物特徴抽出手段で抽出した特徴と、前記第二の人物特徴抽出手段で抽出した特徴との間の類似度によって特徴を比較することを特徴とし、
前記人物特定手段は、前記類似度が閾値を超えた場合に、前記第一の人物特徴抽出手段で抽出した特徴と、前記第二の人物特徴抽出手段で抽出した特徴の対応付けを行い、対応付けを行わなかった第一の人物特徴抽出手段で抽出した特徴に対応する人物を、画像を取得できなかった人物として特定することを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第二の人物領域抽出手段で抽出した人物領域に基づき混雑度を推定する混雑度推定手段と、
前記混雑度推定手段によって推定した混雑度に基づいて、第一の画像取得手段および、第二の画像取得手段の画角を変更する第二の画角変更手段を、更に備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第二の人物領域抽出手段で抽出した人物領域の、時間近傍における移動方向に基づいて、人流を推定する人流推定手段と、
前記人流推定手段によって推定した人流に基づいて、第一の画像取得手段および、第二の画像取得手段の画角を変更する第三の画角変更手段を、更に備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記人物特定手段が、前記第一の人物特徴抽出手段が抽出した特徴と、前記第二の人物特徴抽出手段が抽出した特徴との対応付けを行うことを特徴とし、
前記第一の人物領域抽出手段が抽出した人物領域と、前記第一の人物特徴抽出手段が抽出した特徴と、前記人物特定手段が行った対応付けの結果を保存する、第一の特徴保存手段を有し、
前記第二の人物領域抽出手段が抽出した人物領域と、前記第二の人物特徴抽出手段が抽出した特徴と、前記人物特定手段が行った対応付けの結果を保存する、第二の特徴保存手段を有し、
入力された人物の特徴と類似する人物の特徴を、第一の特徴保存手段で保存した特徴から照合する第一の人物照合手段と、
第一の人物照合手段で照合した特徴に対応する、対応付けの結果に基づいて、入力された人物の特徴に対して、類似する人物の特徴を、第二の特徴保存手段で保存した特徴から照合する第二の人物照合手段を更に備えることを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
【請求項９】
顔および全身の画像を取得する第一の画像取得工程と、
人物を見下ろした画像を取得する第二の画像取得工程と、
前記第一の画像取得工程で取得した画像から、複数の人物領域を抽出する第一の人物領域抽出工程と、
前記第二の画像取得工程で取得した画像から、複数の人物領域を抽出する第二の人物領域抽出工程と、
前記第一の人物領域抽出工程で抽出した人物領域から、人物の特徴を抽出する第一の人物特徴抽出工程と、
前記第二の人物領域抽出工程で抽出した人物領域から、人物の特徴を抽出する第二の人物特徴抽出工程と、
前記第一の人物特徴抽出工程で抽出した人物の特徴と、前記第二の人物特徴抽出工程で抽出した人物の特徴を比較する特徴比較工程と、
前記特徴比較工程が特徴を比較した結果に基づいて、前記第一の画像取得工程で画像を取得できなかった人物を特定する人物特定工程を、備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを
顔および全身の画像を取得する第一の画像取得手段と、
人物を見下ろした画像を取得する第二の画像取得手段と、
前記第一の画像取得手段で取得した画像から、複数の人物領域を抽出する第一の人物領域抽出手段と、
前記第二の画像取得手段で取得した画像から、複数の人物領域を抽出する第二の人物領域抽出手段と、
前記第一の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第一の人物特徴抽出手段と、
前記第二の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第二の人物特徴抽出手段と、
前記第一の人物特徴抽出手段で抽出した人物の特徴と、前記第二の人物特徴抽出手段で抽出した人物の特徴を比較する特徴比較手段と、
前記特徴比較手段が特徴を比較した結果に基づいて、前記第一の画像取得手段で画像を取得できなかった人物を特定する人物特定手段と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から人物を特定する技術に関する。
【背景技術】
【０００２】
人物同士の重なりが生じる場合、重なりによって隠れている人物をカメラで撮影することができない。その人物を撮影するためには、重なりが小さくなるようにカメラの画角を下げて、撮影する必要があった。しかしながら、カメラの画角を下げて撮影をすると、顔および全身の特徴を捉えることができる画像をカメラが撮影することができなくなり、人物の画像を検索する際に、精度が低下するという問題が生じていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２０１６４３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、画角が異なる二つのカメラで撮影される画像を用いて、人物の対応付けを行うことで、重なりが存在する場合でも、画角を変更することなく人物の特徴を捉えることができていた。しかしながら、人物同士の重なりによって、一方のカメラにしか撮影できない人物に関しては、対応付けを行うことができないため、一部の画角からの人物の特徴しか捉えることができていなかった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、人物同士の重なりによって隠れている人物を特定する画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は以下の構成を備える。即ち、顔および全身の画像を取得できるように設置された第一の画像取得手段と、人物を見下ろした画像を取得できるように設置された第二の画像取得手段と、前記第一の画像取得手段で取得した画像から、複数の人物領域を抽出する第一の人物領域抽出手段と、前記第二の画像取得手段で取得した画像から、複数の人物領域を抽出する第二の人物領域抽出手段と、前記第一の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第一の人物特徴抽出手段と、前記第二の人物領域抽出手段で抽出した人物領域から、人物の特徴を抽出する第二の人物特徴抽出手段と、前記第一の人物特徴抽出手段で抽出した人物の特徴と、前記第二の人物特徴抽出手段で抽出した人物の特徴を比較する特徴比較手段と、前記特徴比較手段が特徴を比較した結果に基づいて、前記第一の画像取得手段で画像を取得できなかった人物を特定する人物特定手段。
【発明の効果】
【０００７】
人物同士の重なりによりカメラで撮影できない人物がいても、その人物を特定することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１のシステムの構成を説明する図である
【図２】実施形態１のユースケースを説明する図である
【図３】実施形態１のモジュールの構成を説明する図である
【図４】実施形態１における画像処理のフローを説明する図である
【図５】実施形態２のユースケースを説明する図である
【図６】実施形態２のモジュールの構成を説明する図である
【図７】実施形態２における画像処理のフローを説明する図である
【図８】実施形態４のモジュールの構成を説明する図である
【図９】実施形態４におけるデータベースにおけるテーブルの構成図である
【図１０】実施形態４における画像処理のフローを説明する図である
【発明を実施するための形態】
【０００９】
［実施形態１］
本実施形態のサーバ装置やクライアント装置を構成するコンピュータ装置の構成について、図１のシステムの構成図を用いて説明する。
【００１０】
サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１１】
ＣＰＵ１０１はコンピュータ装置１００全体を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔである。ＲＯＭ１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６はコンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク１１１に接続するための通信インターフェイスである。ネットワークカメラ１１２は、監視カメラなどの映像の撮像装置であり、ネットワーク１１１を介してコンピュータ装置に接続されている。システムバス１０８は１０１〜１０７の各ユニットを通信可能に接続する伝送路である。
【００１２】
後述する各動作は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。
【００１３】
本実施形態の画像処理装置は、少なくとも２つ以上の画角の異なるカメラが撮影した画像に対して、それぞれの画像から人物領域を抽出して、その人物領域から抽出した特徴量間の類似度に基づいて、一部のカメラが撮影できなかった人物を特定する装置である。また、カメラの視差に基づいて、一部のカメラが撮影できなかったと特定した人物の絶対座標を計算し、その絶対座標の方向に対象のカメラの画角を変更することで、一部のカメラが撮影できなかった人物の画像を取得する機能を保持している。
【００１４】
図２のユースケースの説明図を用いて、上記の画像処理装置の機能の概要を説明する。
【００１５】
ここでは、２つの画角の異なるカメラを設置している例で説明する。カメラ２０１は人物の正面や全身を撮影するためのカメラであり、カメラ２０２は人物を見下ろした画像を撮影するためのカメラである。これらのカメラは、イベント会場やショッピングモールなど、人混みが多く発生するような大規模な施設で、人物の行動を監視するために設置されているものとする。カメラ２０１で撮影した画像が、撮影画像２０６である。また、カメラ２０２で撮影した画像が、撮影画像２０９である。ここでは、人物２０３、人物２０４、人物２０５がイベント会場内の通路を歩いているとする。人物２０３や人物２０５に対して、人物２０４は身長が低い子供や女性などの人物を表している。このとき、撮影画像２０６では、身長の高い人物２０３に、身長の低い人物２０４が隠れており、人物２０３の画像２０７と、人物２０５の画像２０８のみが映っている。一方で、撮影画像２０９には、人物２０３の画像２１０、人物２０４の画像２１１、人物２０５の画像２１２が映っている。これは、カメラ２０１に対して、カメラ２０２の水平からの画角が大きいためである。次に、これらの画像から人物領域を抽出する。撮影画像２０６からは、人物２０３の人物領域２１３と、人物２０５の人物領域２１４を抽出する。また、撮影画像２０９からは、人物２０３の人物領域２１５、人物２０４の人物領域２１６、人物２０５の人物領域２１７を抽出する。そして、それぞれの人物領域からＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの画像特徴量を抽出する。ここでは簡単のため、ＳＩＦＴを用いて説明したが、人物の顔および体の向きを正規化できるような場合は、回転に対する正規化を行わずに、人物領域から抽出した特徴点周辺の濃度勾配を特徴量として用いてもよい。そして、撮影画像２０６から抽出した特徴量と、撮影画像２０９から抽出した特徴量間の類似度を算出し、その値が閾値以上の場合に、特徴量とそれに対応する人物領域同士の対応付けを行う。類似度としては、例えば特徴量間の二乗誤差平均などを用いる。この結果、人物領域２１３と人物領域２１５が対応付き、人物領域２１４と人物領域２１７が対応付き、人物領域２１６が対応付かなかったとする。よって、対応付かなかった人物領域２１６の特徴量に対応する人物２０４を、カメラ２０１で撮影できなった人物として特定する。
【００１６】
次に、カメラ２０１で撮影できなった人物として特定した人物２０４の画像を取得するために、カメラ２０１の画角を変更する方法を説明する。俯瞰画像２１８は、先ほどと同様に人物２０３、人物２０４、人物２０５が、イベント会場の通路を歩行している状況を示している。俯瞰画像２１９は、それから時間が経過して各人物が一定距離進んだ状況を表している。ここで、カメラ２０１と、カメラ２０２の視差に基づいて、ステレオ法により、人物２０３および、人物２０５の絶対座標を求める。そして、人物２０４の絶対座標の近似値として、人物２０４の近傍にいる人物２０３と人物２０５の絶対座標の平均値を用いる。そして、人物２０４の絶対座標を撮影するように、カメラ２０１の画角を変更する。これにより、人物同士の重なりによって隠れている人物２０４の画像を、顔や全身を撮影するカメラ２０１で撮影することができる。
【００１７】
そして、撮影した画像および特徴量をデータベースで管理し、クエリとして入力した画像に対して、同様に人物領域および、それに対する特徴量を抽出して、データベースとの照合を行うことで、所望の人物の画像を検索するといった応用例が考えられる。
【００１８】
上記の画像処理装置の機能を用いることで、人物の画像の検索を行う際に、精度を向上しつつ、検索の漏れを小さくするような検索が可能となる。例えば、迷子を捜す際に、上記の方法を用いることで、重なりによって迷子が隠れてしまった場合でも、容易に迷子を探すことができ、捜索にかかるコストの削減が期待できる。
【００１９】
本実施形態では、ステレオ法に基づき人物の絶対座標を求めたが、パン・チルト・ズームなどのカメラ動作に応じた、絶対座標と画像上の座標を対応付けるキャリブレーション表をあらかじめ作っておき、それに基づいて人物２０４の絶対座標を求めてもよい。
【００２０】
図３のモジュールの構成図を用いて、本実施形態における画像処理装置の構成について説明する。
【００２１】
画像取得部３０１は、カメラ２０１が撮影した撮影画像２０６、カメラ２０２が撮影した撮影画像２０９を取得する。データ保存部３０２は、画像取得部が取得した撮影画像２０６、および撮影画像２０９を保存する。保存する場所は、ハードディスクなどの外部記憶装置１０４である。
【００２２】
人物領域抽出部３０３は、撮影画像２０６、撮影画像２０９からそれぞれ人物領域２１３、２１４および、人物領域２１５、２１６、２１７を抽出する。
【００２３】
人物特徴抽出部３０４は、抽出した人物領域２１３、２１４、２１５、２１６、２１７からＳＩＦＴなどの特徴量を抽出する。データ保存部３０２が、抽出した特徴量および、人物領域を組にして保存する。ここでは、特徴としてＳＩＦＴを用いたが、帽子や髪型、服装などの属性を特徴として用いてもよい。
【００２４】
人物特徴比較部３０５は、データ保存部３０２が保存した、人物領域２１３、２１４に対応する特徴量と、人物領域２１５、２１６、２１７に対応する特徴量との間の比較を行う。比較には、特徴量間の二乗誤差平均で算出される類似度を用いて行う。ここでは、特徴量間の類似度として二乗誤差平均を用いたが、特徴点マッチングの度合いなどを類似度として用いてもよい。
【００２５】
人物特定部３０６は、人物特徴比較部３０５で算出した類似度を用いて、その値があらかじめ定めておいた閾値以上かどうかを判定し、特徴量に対応する人物領域２１３、２１４と人物領域２１５、２１６、２１７との間の対応付けを行う。そして、対応付けができなかった人物領域に対応する人物をカメラ２０１で撮影できなかった人物として特定する。例として、ここでは人物領域２１３と人物領域２１５が対応付き、人物領域２１４と人物領域２１７が対応付いたとする。このとき、対応付かなかった人物領域２１６に対応する人物２０４を、カメラ２０１で撮影できなかった人物として特定する。
【００２６】
絶対座標取得部３０７は、人物特定部３０６で撮影できなかったとして特定した人物２０４の空間上の絶対座標を求める。ここでは、カメラ２０１とカメラ２０２の視差を用いて、ステレオ法によって算出する。このとき、カメラの設置位置や焦点距離などのパラメータはデータ保存部３０２が外部記憶装置１０４に保存しておき、このパラメータを読み込んで計算を行う。
【００２７】
画角変更部３０８は、絶対座標取得部３０７で算出した人物２０４の絶対座標を取得し、その絶対座標を撮影画像の中心に捉えるように画角を変更する。変更する画角は、幾何的な計算を行うことで求めることができる。このときも同様に、外部記憶装置１０４に保存してあるパラメータを読み込んで、画角の変更方向を計算する。
【００２８】
図４のフロー図を用いて、本実施形態における画像処理装置の処理フローについて説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００２９】
Ｓ４０１で、画像取得部３０１が、顔や全身を撮影するカメラ２０１で撮影した撮影画像２０６を取得する。データ保存部３０２が、この画像を外部記憶装置１０４に保存する。この画像には、人物２０３と人物２０５が映っているものとする。
【００３０】
Ｓ４０２で、人物領域抽出部３０３が、撮影画像２０６から画像に映っている複数の人物領域を抽出する。人物領域を抽出する手法としては、量子化した画像から輝度ヒストグラムを計算し、ｋ−ｍｅａｎｓ法でクラスタリングを行うなどの手法を用いる。ここでは、人物２０３に対応する人物領域２１３、人物２０５に対応する人物領域２１４を抽出したとする。
【００３１】
Ｓ４０３で、人物特徴抽出部３０４が抽出した人物領域２１３、人物領域２１４から人物特徴を抽出する。特徴量としてはＳＩＦＴを用いる。ここでは、特徴量としてＳＩＦＴを用いたが、ＳＵＲＦやＨＯＧなどを用いてもよい。また、帽子や髪型、服装などの属性を特徴量として抽出してもよい。データ保存部３０２が、人物領域と対応する人物特徴を組として、外部記憶装置１０４に保存する。
【００３２】
同様にして、Ｓ４０４で、画像取得部３０１が、見下ろした画像を撮影するカメラ２０２で撮影した撮影画像２０９を取得する。この画像には、人物の画像２１０、２１１、２１２が映っているものとする。
【００３３】
Ｓ４０５で、人物領域抽出部３０３が、撮影画像２０９から画像に映っている複数の人物領域を抽出する。ここでは、人物２０３に対応する人物領域２１５、人物２０４に対応する人物領域２１６、人物２０５に対応する人物領域２１７を抽出したものとする。
【００３４】
Ｓ４０６で、人物特徴抽出部３０４が抽出した人物領域２１５、人物領域２１６、人物領域２１７から人物特徴を抽出する。そして、データ保存部３０２が、人物領域と対応する人物特徴を組として、外部記憶装置１０４に保存する。
【００３５】
Ｓ４０７で、人物特徴比較部３０５が、Ｓ４０３で抽出した特徴量と、Ｓ４０６で抽出した特徴量との間の類似度を算出する。類似度としては、特徴量間の二乗誤差平均などを用いる。ここでは、人物領域２１３、２１４から抽出した特徴量と、人物領域２１５、２１６、２１７から抽出した特徴量との計６種類の組み合せに対して、類似度を算出する。
【００３６】
Ｓ４０８で、人物特定部３０６が、Ｓ４０７で算出した類似度があらかじめ定めておいた閾値以上かを判定する。閾値の設定は外部記憶装置１０４に保存してあり、これを読み込んで用いる。ここでは、閾値として静的な値を用いたが、カメラの設置環境や、通路における人物の混雑度合いなどから、動的に変更する値を用いてもよい。この例では、閾値を０．５しておき、図２に示す通り人物領域２１３から抽出した特徴量と人物領域２１５から抽出した特徴量の類似度が０．６で、閾値以上であると判定する。同様にして、人物領域２１４から抽出した特徴量と人物領域２１７から抽出した特徴量の類似度が０．７で、閾値以上であると判定する。また、残りの４種類の組み合わせに対する類似度は、閾値が０．５を下回っていたものとする。
【００３７】
Ｓ４０９で、人物特定部３０６が、Ｓ４０７の判定結果に基づき、類似度が閾値以上であった特徴量に対応する人物を同一人物として特定し、データ保存部３０２がその対応付けの結果を保存する。ここでは、人物領域２１３と人物領域２１５が、同一人物を表す領域として対応付ける。同様にして、人物領域２１４と人物領域２１７が、同一人物を表す領域として対応付ける。
【００３８】
Ｓ４１０で、人物特定部３０６が人物同士の対応付けを行わなかった特徴量があるかどうかを判定する。ここでは、人物２０４に対応する人物領域２１６の対応付けを行わなかったと判定する。
【００３９】
Ｓ４１１で、Ｓ４１０で対応付けを行わなかった人物を、カメラ２０１で撮影できなかった人物として特定する。ここでは、人物領域２１６に対応する人物２０４をカメラ２０１で撮影できなかった人物として特定する。
【００４０】
Ｓ４１２で、絶対座標取得部３０７が、Ｓ４１１でカメラ２０１が撮影できなかったと特定した人物の絶対座標を求める。カメラの設置情報などは、あらかじめ外部記憶装置１０４に保存しておき、これを読み込んで、カメラで撮影した画像上の座標と、空間の絶対座標の対応付けを行うものとする。この例では、カメラ２０１で人物２０４を撮影できない状況を想定しており、近傍にいる人物２０３および人物２０５の絶対座標から、人物２０４の絶対座標の近似値を求める。まず、カメラ２０１とカメラ２０２の視差を用いて、ステレオ法により、人物２０３および、人物２０５の絶対座標を求める。次に、この絶対座標の平均値を算出し、これを人物２０４の絶対座標を近似値として求める。ここでは、近傍の人物が複数人いるとして、その平均値を近似値として用いた。しかし、近傍の人物が一人しかおらず、またその近傍の人物と対象の人物の距離が十分に近いと推定できる場合は、その近傍の人物の座標を近似値として用いてもよい。
【００４１】
Ｓ４１３で、画角変更部３０８が、Ｓ４１２で取得した絶対座標をカメラ２０１が撮影するように画角を変更する。これは、時間経過とともに人物が移動し、俯瞰画像２１８の状態から、俯瞰画像２１９の状態に変化し、撮影できなかった人物２０４を撮影できる機会があることを想定している。画角の変更量は、外部記憶装置１０４に保存してあるカメラの設置情報を元に、画像上の座標と空間上の絶対座標の対応付けから、幾何的に計算する。ただし、画角の変更量はある閾値を設けて、それ以下になるように設定する。これは、画角の変更量が一定以上を超えると、その間に、カメラ２０１が別の人物を撮影し損ねる可能性があるためである。また、カメラ２０１が撮影できなかった人物２０４を十分の時間間隔で撮影できたと判定したら、処理を打ち切り、カメラの画角を初期値に戻してもよい。
【００４２】
本実施形態では、ステレオ法により撮影できない人物の絶対座標を求めた。これに限らず、カメラの画角と絶対座標の紐づけを行うキャリブレーション表をあらかじめ用意しておいて、それを用いて見下ろし画像を撮影するカメラ２０２で、人物２０４の絶対座標を求めてもよい。
【００４３】
また、本実施形態では２つのカメラで撮影できる画像から抽出した特徴量間の類似度により２つの画像上の人物間の対応付けを行ったが、例えば距離センサを補足的に用いて、特徴量と距離の組によって対応付けを行ってもよい。
【００４４】
本実施形態によって、人物同士の重なりによりカメラで撮影できない人物が存在しても、その人物を特定することができ、カメラの画角を変更することで、その人物の顔および全身の画像を撮影することが可能となる。これにより、人物の画像の検索を行う際に、検索精度を向上することができ、検索漏れを小さくすることができる。例えば、人物同士の重なりによって、身長の低い子供が迷子になった際などに、容易に迷子の居場所を探すことができ、捜索にかかるコストの削減が期待できる。
【００４５】
［実施形態２］
実施形態１では、人物同士の重なりによって撮影できない人物を、顔や全身を撮影するカメラ２０１とは別に、見下ろした画像を撮影するカメラ２０２を用いて、両者の画像の特徴量を比較することで、カメラ２０１が撮影できない人物を特定した。本実施形態では、時間経過に伴い混雑度が増し、人物同士の重なりが増えた状況を想定する。その状況で、人物の画像の検索を行う際に、検索漏れを小さくする方法について述べる。システム構成は実施形態１と同様である。
【００４６】
図５のユースケースの説明図を用いて、本実施形態の機能の概要を説明する。
【００４７】
図５（Ａ）は、人が少なく混雑の度合いが少ない状況を示している。この状況では、混雑の度合いが少ないため、実施形態１と同様の方法で実施することができる。図５（Ｂ）は、図５（Ａ）から時間が経過して、混雑の度合いが増したときの状況を示している。この場合、人の数が多いため、より重なりが生じやすく、カメラ２０１が撮影できない人物が多くなる。そのため、人物の画像検索を行う際に、検索漏れが生じやすくなる。そこで、検索漏れを防止するために、カメラ２０１の画角を下げる。そして、時間が経過して混雑の度合いが図５（Ａ）の状況に戻った場合は、カメラ２０１の画角を戻す。これにより、混雑の度合いに応じてカメラ２０１の画角を変更することで、検索精度を維持しつつ、検索の漏れを少なくすることができる。
【００４８】
図６のモジュールの構成図を用いて、本実施形態における画像処理装置の構成について説明する。
【００４９】
画像取得部３０１、データ保存部３０２、人物領域抽出部３０３、人物特徴抽出部３０４、人物特徴比較部３０５、人物特定部３０６、絶対座標取得部３０７は、実施形態１と同様である。
【００５０】
混雑度推定部６０１は、カメラ２０２の撮影した画像から人物領域抽出部３０３が抽出した人物領域の総面積を計算することにより、監視領域における混雑度を推定する。例えば、カメラ２０２が監視している領域の面積が１００平方メートルだった場合に、抽出した人物領域の総面積が５０平方メートルだったとすると、混雑度はその比で計算することができ、混雑度が０．５となる。ここでは、人物領域の総面積で混雑度を計算したが、カメラ２０２がほぼ垂直に設置してある場合には、人物領域の各々の面積はほぼ均等の値になるため、混雑度を人物領域の数から近似してもよい。
【００５１】
画角変更部３０８は、実施形態１と同様の機能に加えて、混雑度推定部６０１が推定した混雑度に応じて、カメラ２０１の画角を垂直方向に変更する機能を持つ。ここでは、混雑度と画角の対応付けの表をあらかじめ外部記憶装置１０４に保存しておき、それに基づいて混雑度に対応した画角に変更する。混雑度と画角に関する関数を設計しておき、それに基づいて動的に変更させてもよい。また、一定の角度以上に画角を変更してしまうと、顔や全身の画像を撮影するカメラ２０１と、見下ろした画像を撮影するカメラ２０２の機能が等しくなってしまう。そのため、二つのカメラの機能性を分離するため、ある閾値の範囲内で画角を変更させるようにしてもよい。
【００５２】
図７のフロー図を用いて、本実施形態における画像処理装置の処理フローについて説明する。
【００５３】
Ｓ４０４、Ｓ４０５は実施形態１と同様であり、画像取得部３０１がカメラ２０２で撮影した画像を取得し、人物領域抽出部３０３がその画像から複数人の人物領域を抽出する。
【００５４】
Ｓ７０１で、混雑度推定部６０１が、人物領域抽出部３０３が抽出した人物領域から混雑度を推定する。混雑度は、カメラ２０２の監視領域に対する、人物領域の総和で計算する。監視領域の面積が１００平方メートルだった場合、抽出した人物領域の総面積が５０平方メートルだとすると、混雑度は０．５となる。
【００５５】
Ｓ７０２で、画角変更部３０８が、推定した混雑度に応じて画角を垂直方向に変更する。データ保存部３０２にあらかじめ保存しておいた、混雑度に対する画角の表に基づいて、カメラ２０１の画角を変更する。例えば、混雑度が０．５に対応する水平からの画角の値が６０度の場合は、カメラ２０１の画角を６０度に変更する。一方で、混雑度が０．２に対応する水平からの画角の値が３０度の場合は、カメラ２０１の画角を３０度に変更する。混雑度における画角の設定値は、カメラの設置環境や、カメラ自身の視野角に大きく影響するため、あらかじめカメラの設置時に試行して決めるものとする。また、この設定値を機械学習などの手法を用いて、逐次的に学習させてもよい。
【００５６】
本実施形態では、混雑度に応じて画角を変更させるカメラは２０１のみであったが、カメラ２０２の画角を変更させるようにしてもよい。例えば、混雑が少ない場合には、人物同士の重なりが生じることが小さいため、カメラ２０２が見下ろした画像を撮影する必要はなくなる。そのため、カメラ２０１と同様に、顔や正面の画像を撮影するような画角に変更してもよい。
【００５７】
本実施形態によって、混雑の度合いが増加し、人物同士の重なりが多く生じるようになった場合でも、混雑の度合いによってカメラ２０１の画角を適応的に変更することで、カメラ２０１が撮影できない人物が生じることを避けることができる。その結果、人物の検索を行う際の漏れを少なくすることができる。逆に、混雑の度合いが減少した場合に、カメラ２０１、およびカメラ２０２の画角を変更することで、顔や全身の画像を撮影することができるようになり検索の精度を向上させることができる。
【００５８】
［実施形態３］
実施形態２では、混雑の度合いが増加し、人物同士の重なりが多く生じるようになった場合に、混雑の度合いによってカメラ２０１の画角を変更することで撮影できない人物が生じることを避ける方法について述べた。本実施形態では、人流に基づいてカメラ２０１、およびカメラ２０２の画角を変更する方法について述べる。システム構成は実施形態１と同様である。
【００５９】
モジュール構成は、実施形態１に加えて人流推定部を保持する。
【００６０】
人流推定部は、カメラ２０２が撮影した撮影画像から、人物領域抽出部３０３が抽出した人物領域の各々に対して、時間近傍で移動した方向を推定する。そして、推定した移動方向の平均を計算し、人流の推定結果とする。人物領域の移動方向の算出には、オプティカルフローなどの特徴点のフレーム差分などを用いる。
【００６１】
画角変更部３０８は、実施形態１と同様の機能に加えて、人流推定部が推定した人流に応じて、カメラ２０１、およびカメラ２０２の画角を変更する機能を持つ。画角は、カメラ２０１が人物の正面や全身を撮影することができるように変更する。それに従って、カメラ２０２が人物を見下ろした画像を撮影することができるように変更する。ここでは、カメラ２０１の画角の変更に対応する、カメラ２０２の画角の変更方向を対応付けた表をあらかじめ外部記憶装置１０４に保存しておき、それに基づいて、カメラ２０２の画角変更方向を定める。ここでは、カメラ２０１の画角の変更に同期して、カメラ２０２の画角を変更する方法について述べたが、カメラ２０１の画角の変更量が大きい場合は、追従して変更するカメラ２０２の画角を、監視領域の網羅度が低くならないように変更してもよい。
【００６２】
本実施形態における画像処理装置の処理フローを説明する。
【００６３】
まず、画像取得部３０１が、カメラ２０２で撮影した画像を取得する。ここでは、画像として、撮影画像２０９を得たとする。
【００６４】
次に、人物領域抽出部３０３が、撮影画像２０９から複数の人物領域を抽出する。ここでは、人物領域２１５、２１６、２１７が得られたとする。
【００６５】
それから、人流推定部が、抽出した人物領域２１５、２１６、２１７から、それぞれ人物領域の移動方向を推定する。移動方向の推定には、オプティカルフローなどを用いる。そして、各人物領域の移動方向の平均を計算し、人流の推定結果とする。
【００６６】
そして、画角変更部３０８が、推定した人流に基づき、カメラ２０１およびカメラ２０２の画角を変更する。カメラ２０１の画角は、カメラ２０１が人物の正面や全身を撮影することができるように変更する。それに従って、カメラ２０２が人物を見下ろした画像を撮影することができるように変更する。ここでは、カメラ２０１の画角の変更に対応する、カメラ２０２の画角の変更方向を対応付けた表をあらかじめ外部記憶装置１０４に保存しておき、それに基づいて、カメラ２０２の画角変更方向を定める。
【００６７】
本実施形態では、カメラ２０１が人物の正面や全身を撮影するように画角を変更し、一方でカメラ２０２が人物を見下ろした画像を撮影するように画角を変更した。しかし、例えばコンサートホールや球場などのように、時間帯によって人流が逆方向に変わる場合には、カメラ２０１およびカメラ２０２の画角を反対方向に変更したがよい。その場合、カメラ２０２が人物の正面や全身を撮影するようにし、カメラ２０１が人物を見下ろした画像を撮影するようにしてもよい。
【００６８】
本実施形態により、時間帯に応じて人流が変わった場合に、カメラ２０１が人物の正面や全身を撮影できなくなった場合でも、推定した人流に応じて、カメラ２０１、２０２の画角を変更することで、カメラ２０１が人物の正面や全身を撮影することが可能となる。その結果、画像検索を行う際に、正面や全身の画像を用いることができるため、検索精度を向上させることができる。
【００６９】
［実施形態４］
実施形態１では、人物同士の重なりによって撮影できない人物を、顔や全身を撮影するカメラ２０１とは別に、見下ろした画像を撮影するカメラ２０２を用いて、両者の画像の特徴量を比較することで、撮影できない人物を特定した。本実施形態では、撮影画像２０６から抽出した人物領域およびその特徴量と、撮影画像２０９から抽出した人物領域およびその特徴量をデータベースの別々のテーブルに管理する。そして、人物の検索を行う際に、前者のテーブルでヒットしたＩＤを省いて、後者のテーブルから検索を行うことで、処理負荷を軽減する。また、重複した画像をヒットすることがないため、検索精度を向上させることができる。
【００７０】
図８のモジュールの構成図を用いて、本実施形態における画像処理装置の構成について説明する。
【００７１】
画像取得部３０１、データ保存部３０２、人物領域抽出部３０３、人物特徴抽出部３０４、人物特徴比較部３０５、人物特定部３０６、絶対座標取得部３０７、画角変更部３０８は、実施形態１と同様である。
【００７２】
正面画像特徴保存部８０１は、人物特徴抽出部３０４が、撮影画像２０６から抽出した人物領域と、その人物領域から抽出した人物特徴を組にして、外部記憶装置１０４の中にあるデータベースの正面画像特徴保持テーブル９０１に保存する。人物特徴には、特開２０１７−３３１３２に示されるような、顔の向きに対して頑健な特徴を用いる。これは、人物の画像の照合を行う際に、クエリとして入力される画像の顔の向きなどの影響を小さくして、検索の精度を落とさないためである。また、人物特定部３０６によって、撮影画像２０６と撮影画像２０９の間で対応付けられた人物領域の組に対して、唯一に特定できる人物領域対応ＩＤを発行して管理する。テーブルの構成については、図９で後述する。
【００７３】
見下ろし画像特徴保存部８０２は、人物特徴抽出部３０４が、撮影画像２０９から抽出した人物領域と、その人物領域から抽出した人物特徴を組にして見下ろし画像特徴保持テーブル９０２に保存する。同様に、撮影画像２０６と撮影画像２０９の間で対応付けられた人物領域の組に対して、発行された人物領域対応ＩＤで管理する。テーブルの構成については、図９で後述する。
【００７４】
人物照合部８０３は、クエリとして入力された人物領域の画像から、人物特徴抽出部３０４が抽出した人物特徴を用いて、正面画像特徴保持テーブル９０１から人物の照合を行う。具体的には、抽出した人物特徴と、正面画像特徴保持テーブル９０１の正面画像特徴との類似度を用いて行い、その値が閾値以上の場合に照合したとする。そして、その特徴量に対応する人物領域対応ＩＤを取得する。ここでは、照合の結果、人物領域対応ＩＤとして、０２を取得したとする。同様にして、クエリから抽出した人物特徴と、見下ろし画像特徴保持テーブル９０２の見下ろし画像特徴との間の類似度を算出し、照合を行う。このとき、正面画像特徴保持テーブル９０１で既に照合が済んでいる、人物領域対応ＩＤが０２のレコードからの検索は行わない。
【００７５】
図９のテーブル構成図を用いて、データの保持方法について説明する。
【００７６】
正面画像特徴保持テーブル９０１は、カメラ２０１で撮影した人物に対する、人物領域画像と、そこから抽出した正面画像特徴と、人物領域対応ＩＤを保持している。ここでは、撮影画像２０６から抽出された、人物領域２１３と人物領域２１４の画像と、その正面画像特徴、および人物領域対応ＩＤとして０１および０２を保持している。
【００７７】
見下ろし画像特徴保持テーブル９０２は、カメラ２０２で撮影した人物に対する、人物領域画像と、そこから抽出した見下ろし画像特徴と、人物領域対応ＩＤを保持している。ここでは、撮影画像２０６から抽出された、人物領域２１５と人物領域２１７に対して、人物領域対応ＩＤとして０１、０２が割り当てられており、人物領域２１６に対しては、対応する人物領域がなかったとして、人物領域対応ＩＤが割り当てられていない。
【００７８】
図１０のフロー図を用いて、本実施形態における画像処理装置の処理フローを説明する。
【００７９】
ここでは、あらかじめ実施形態１において、Ｓ４０３で正面画像特徴保存部８０１が、撮影画像２０６に対する人物領域の画像とその特徴量を正面画像特徴保持テーブル９０１に保存しているものとする。また、Ｓ４０６で見下ろし画像特徴保存部８０２が、撮影画像２０９に対する人物領域の画像と、その特徴量を見下ろし画像特徴保持テーブル９０２に保存しているものとする。また、Ｓ４０９で人物領域間の対応付けを行う際に、人物領域対応ＩＤを発行して、正面画像特徴保持テーブル９０１と見下ろし画像特徴保持テーブル９０２の人物領域対応ＩＤに、格納しているものとする。
【００８０】
Ｓ１００１は、人物領域抽出部３０３が、入力したクエリ画像から人物領域を抽出する。ここでは、あらかじめユーザによって照合したいクエリ画像が入力されているものとする。
【００８１】
Ｓ１００２は、人物特徴抽出部３０４が、クエリ画像から抽出した人物領域から人物特徴を抽出する。人物特徴には、特開２０１７−３３１３２に示されるような、顔の向きに対して頑健な特徴を用いる。
【００８２】
Ｓ１００３は、人物照合部８０３が、抽出した人物特徴を用いて、正面画像特徴保持テーブル９０１から照合を行う。
【００８３】
Ｓ１００４は、人物照合部８０３が、Ｓ１００３で照合した特徴に対応する人物領域画像と、人物領域対応ＩＤを取得する。ここでは、正面画像特徴０２に対応する人物領域対応ＩＤとして０２を取得したとする。
【００８４】
Ｓ１００５は、人物照合部８０３が、クエリ画像の人物領域から抽出した人物特徴および、取得した人物領域対応ＩＤを用いて、見下ろし画像特徴保持テーブル９０２から照合を行う。このとき、Ｓ１００４で取得した人物領域対応ＩＤを除いて照合を行う。ここでは、人物領域対応ＩＤとして０２を取得しているため、レコードＩＤの０３の特徴を除いて照合を行う。
【００８５】
Ｓ１００６は、人物照合部８０３が、Ｓ１００５で照合した特徴に対応する人物領域画像を取得する。用途に応じて、Ｓ１００４およびＳ１００６で取得した人物領域画像をモニタ１１０に表示したり、外部記憶装置１０４に保存したりしてもよい。
【００８６】
本実施形態では、正面画像特徴保持テーブル９０１および、見下ろし画像特徴保持テーブル９０２を同一のデータベースに格納することを前提として説明したが、両者のテーブルをそれぞれ別のデータベースに保存して、照合を行ってもよい。これにより、処理負荷を分散することができ、応答速度が向上することが見込める。また、本実施形態では、正面画像特徴保持テーブル９０１に対して照合を行ってから、見下ろし画像特徴保持テーブル９０２の照合を行ったが、照合順序を逆にしてもよい。これにより、入力クエリにヒットした特徴量に対応する人物領域対応ＩＤがなしの場合に、そこで処理を打ち切ることができるため、処理負荷を軽減できる。
【００８７】
本実施形態により、人物特定部３０６が、同一人物だと判定したレコードを省略して照合を行うことができるため、処理負荷を軽減することができ、同一人物をヒットする可能性が低くなるため検索精度を向上させることができる。例えば、イベント会場などの大規模施設において、混雑度が高く、人物同士の重なりによって、鮮明な画像が取得できない可能性がある。このような状況では、一様に特徴量間の類似度が低くなってしまうため、正面画像特徴保持テーブル９０１に対して照合した結果に、多くの誤りが含まれる可能性がある。その場合に、同様に見下ろし画像特徴保持テーブル９０２の全てのレコードに対して照合を行うと、合計して多くの誤り画像を照合してしまう。そのため、人物の対応付けが分かっているレコードを省いて照合することで、誤り画像を照合する頻度を小さくすることができ、結果として精度が向上する。
【００８８】
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。
【００８９】
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９１】
ＨＤＤ  ハードディスク
【図１】
2020067784.tif 000003
【図２】
2020067784.tif 000004
【図３】
2020067784.tif 000005
【図４】
2020067784.tif 000006
【図５】
2020067784.tif 000007
【図６】
2020067784.tif 000008
【図７】
2020067784.tif 000009
【図８】
2020067784.tif 000010
【図９】
2020067784.tif 000011
【図１０】
2020067784.tif 000012