(57)【要約】      （修正有）【課題】動画像中のオブジェクト（人物など）が多くなる場合にもリアルタイムに動画像中のオブジェクトを照合するための技術を提供する。【解決手段】画像処理システム１において、動画像中のオブジェクトとデータベースとの照合を行う画像処理装置であって、動画像のフレーム画像ごとに１以上のオブジェクトのオブジェクト情報を取得する取得部と、画像処理装置の処理負荷を監視する監視部と、処理負荷に基づいて、照合対象のオブジェクト情報を選択する選択部と、選択されたオブジェクト情報を用いて特徴量を算出する算出部と、特徴量を用いて照合を行う照合部とを備える。【選択図】図１
2020009383.tif 000002
【特許請求の範囲】
【請求項１】
動画像中のオブジェクトとデータベースとの照合を行う画像処理装置であって、
前記動画像のフレーム画像ごとに１以上のオブジェクトのオブジェクト情報を取得する取得手段と、
前記画像処理装置の処理負荷を監視する監視手段と、
前記処理負荷に基づいて、照合対象のオブジェクト情報を選択する選択手段と、
前記選択されたオブジェクト情報を用いて特徴量を算出する算出手段と、
前記特徴量を用いて前記照合を行う照合手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記オブジェクト情報を一時的に保持する保持手段をさらに備え、
前記監視手段は、前記保持手段が保持するオブジェクト情報の処理遅延状況を監視することにより前記処理負荷を監視することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト情報を用いて前記フレーム画像間で前記１以上のオブジェクトを追尾する追尾手段をさらに備え、
前記選択手段は、前記１以上のオブジェクトのうち、前記追尾手段により追尾されなくなったオブジェクトのオブジェクト情報を優先して選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記選択手段は、前記１以上のオブジェクトのうち、前記フレーム画像間のオブジェクトの変化量に基づいて、前記変化量が閾値以上のオブジェクトのオブジェクト情報を選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記変化量は、前記フレーム画像間のオブジェクトのサイズ又は位置の変化量であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記選択手段は、前記１以上のオブジェクトの各々についてオブジェクトの属性ごとにオブジェクト情報を分類し、各オブジェクトについて属性ごとに所定数のオブジェクト情報を選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記算出手段は、前記処理負荷に基づいて、算出する特徴量の種類を変更することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記算出手段は、
前記処理負荷が閾値未満である場合、第１の特徴量を使用し、
前記処理負荷が閾値以上である場合、前記第１の特徴量よりも処理負荷が小さく照合精度が低い第２の特徴量を使用することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記監視手段は、前記処理負荷に基づいて前記画像処理装置の処理モードを切り替え、
前記処理負荷が閾値未満である場合、前記処理モードを、前記選択手段が全てのオブジェクト情報を選択する第１のモードに切り替え、
前記処理負荷が閾値以上である場合、前記処理モードを、前記選択手段が一部のオブジェクト情報を選択する第２のモードに切り替えることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記オブジェクトは、前記動画像中の人物の顔であることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記照合手段による照合結果を出力する出力手段をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
動画像中のオブジェクトとデータベースとの照合を行う画像処理装置の制御方法であって、
前記動画像のフレーム画像ごとに１以上のオブジェクトのオブジェクト情報を取得する取得工程と、
前記画像処理装置の処理負荷を監視する監視工程と、
前記処理負荷に基づいて、照合対象のオブジェクト情報を選択する選択工程と、
前記選択されたオブジェクト情報を用いて特徴量を算出する算出工程と、
前記特徴量を用いて前記照合を行う照合工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラが広く設置されている一方で、監視カメラで撮影された画像に映る人物の中から犯罪者を見つけ出す技術の重要性が高まっている。例えば、犯罪者の画像を登録しておき、登録された人物と照合を行い、監視者に通知する技術などがある。
【０００３】
特許文献１では、人物をカメラで撮影し、撮影した画像から人物を検出し、フレーム間で人物を追尾し、追尾している人物ごとに照合処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３０３２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、空港などのように人物が多く、かつ、犯罪者がほとんど現れないような環境で使用する場合に、照合処理が継続することになるため、処理負荷が大きくなる。そのため、動画像中の人物に対してリアルタイムに照合処理を継続できなくなるという課題がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、動画像中のオブジェクト（人物など）が多くなる場合にもリアルタイムに動画像中のオブジェクトを照合するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る画像処理装置は、
動画像中のオブジェクトとデータベースとの照合を行う画像処理装置であって、
前記動画像のフレーム画像ごとに１以上のオブジェクトのオブジェクト情報を取得する取得手段と、
前記画像処理装置の処理負荷を監視する監視手段と、
前記処理負荷に基づいて、照合対象のオブジェクト情報を選択する選択手段と、
前記選択されたオブジェクト情報を用いて特徴量を算出する算出手段と、
前記特徴量を用いて前記照合を行う照合手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画像中のオブジェクトが多くなる場合にもリアルタイムに動画像中のオブジェクトを照合することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る画像処理装置の構成の一例を示す図である。
【図２】実施形態１に係る画像処理装置の処理の一例を示すフローチャートである。
【図３】実施形態１に係る画像処理装置の処理の一例を示すフローチャートである。
【図４】実施形態１、２、３に係る選択処理の詳細処理の一例を示すフローチャートである。
【図５】実施形態１に係るセキュリティ監視装置の処理の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（実施形態１）
実施形態１では、動画像中のオブジェクトのオブジェクト情報を取得し、オブジェクト情報から特徴量を算出して照合を行う処理について、画像処理装置の処理負荷を監視し、処理負荷に基づいて照合対象のオブジェクト情報を選択して限定する例を説明する。
【００１２】
本実施形態ではオブジェクトは人物の顔であり、特に、動画像中で追尾されなくなる可能性の高い人物のオブジェクト情報を優先して選択する。一方、追尾されている人物についてはオブジェクト情報が多くメモリに蓄積されている可能性が高いので、オブジェクト情報を優先的には選択しないようにする。このように、追尾が切れており動画から消失しそうな人物のオブジェクト情報を優先的に選択することで、既に追尾されている人物に対する不要な演算処理を抑えるとともに、リアルタイムの照合が可能となる。
【００１３】
なお、オブジェクトは人物の顔に限定されるものではなく、人物の身体全体であってもよいし、動物、車両等であってもよい。
【００１４】
＜定義＞
ここで、本発明における用語の定義を記載する。追尾とは、動画像中のオブジェクトを顔認識などの技術を用いて追跡することである。具体的には、各フレーム画像において、顔認識されたオブジェクトの位置、大きさ情報の取得を行い、各フレーム間でのＩＤによるオブジェクトの対応付けを行うことによって追跡が行われる。
【００１５】
オブジェクト情報とは、追尾したオブジェクトの静止画像中の位置、大きさ、および各フレーム画像間で対応付けられたオブジェクトＩＤを含む情報である。また、追尾したオブジェクトを切り出したトリミング画像（あるいはオブジェクトである顔の特徴量）、およびオブジェクト情報を取得した静止画像のフレーム番号を含む情報である。例えば、トリミング画像は矩形画像であるが、その形状は限定されない。
【００１６】
監視者とは、監視カメラを用いて監視を行う人物のことであり、例えば、空港や商業施設などに配備されている警備員などである。
【００１７】
ブラックリストとは、監視カメラを用いて監視を行う監視者が警戒を必要とする人物を登録した一覧であり、ここでは、特に、監視カメラに撮影された動画像中から自動で探し出す人物のことである。例えば、ブラックリストには重大犯罪者や、テロリスト指定されている人物などが画像と共に登録される。
【００１８】
＜画像処理システムの構成＞
図１は、本実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム１は、撮影装置１１１と、画像処理装置１００と、照合データベース１１２と、セキュリティ監視装置１１３とを含む。画像処理装置１００は、動画像中の人物が多くなる場合にも動画像中の人物をリアルタイムに照合するための処理を行う。
【００１９】
撮影装置１１１は、撮影面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子を備えた装置である。撮影装置１１０は、たとえば監視カメラであり、静止画または動画を取得する。
【００２０】
＜画像処理装置の構成＞
画像処理装置１００は、動画像取得部１０１と、追尾部１０２と、保持部１０３と、特徴量算出部１０４と、照合部１０５と、処理負荷監視部１０６と、選択部１０７とを備えている。各処理部の機能は不図示の制御部（例えばＣＰＵ）が不図示の記憶装置（例えばハードディスク）に保存されたプログラムを読み出して実行することにより実現される。
【００２１】
画像取得部１０１は、撮影装置１１１により撮影された動画像を取得する。また、動画像取得部１０１は、取得した符号化された動画像を各フレーム画像である静止画像に変換する。例えば、Ｈ．２６４で符号化された動画をビットマップ形式の静止画像に変換する。
【００２２】
追尾部１０２は、画像取得部１０１により取得された静止画像列を使用して動画像中のオブジェクトを追尾する。本実施形態では、オブジェクトとして人物の顔を追尾し、追尾した人物の顔の静止画像中の位置、大きさ、顔の向き、各フレーム画像間で対応付けされた人物ＩＤ、顔領域を切り出したトリミング画像、および、トリミング画像を取得した静止画像のフレーム番号とその取得時刻であるタイムスタンプ、を含むオブジェクト情報を取得する。すなわち、追尾部１０２は、動画像中から１以上のオブジェクトのオブジェクト情報を取得する取得部として機能する。なお、顔の向きは、ロール・ピッチ・ヨーの各角度で表してもよいし、横向き、正面向き、などの分類で表してもよいが、本実施形態では、分類で表すものとする。なお、動画像中の人物を追尾する技術は公知であるため説明は省略する。また、顔の向きは人物の属性の一例であり、人物の属性によりオブジェクト情報を分類できればその他の属性を用いてもよい。
【００２３】
保持部１０３は、追尾部１０２により取得された人物のオブジェクト情報を一時的に処理待ち行列であるオブジェクト情報キューとして時系列順に保持する。保持部１０３は、予め定められたフレーム数分のオブジェクト情報を格納する容量のメモリである。
【００２４】
特徴量算出部１０４は、保持部１０３に保持されるオブジェクト情報、もしくは後述の選択部１０７により選択されるオブジェクト情報を用いて、オブジェクトの特徴量を算出する。本実施形態においては、動画像中の人物の顔の特徴量を算出する。顔領域の特徴量を算出する方法としては、公知の技術を利用すればよいため詳細な説明は省略する。
【００２５】
照合部１０５は、後述の照合データベース１１２で保持するブラックリストに登録されている人物と、保持部１０３に保持されるオブジェクト情報、もしくは後述の選択部１０７により選択されるオブジェクト情報の人物とが同一人物であるか否かの照合を行う。より具体的には、特徴量算出部１０４により算出された特徴量と、予め算出しておいたブラックリストに登録されている人物の顔画像の特徴量との照合を行う。照合する方法としては公知の技術を利用すればよいため詳細な説明は省略する。照合部１０５は、照合結果を外部の装置、例えばセキュリティ監視装置１１３へ出力する。
【００２６】
照合データベース１１２は、ブラックリストを保持する。本実施形態では、照合対象となる人物の画像、および、予め特徴量算出部１０４により算出しておいた照合対象となる人物の顔の特徴量を保持する。本実施形態では、人物の画像および人物の顔特徴量を使用するが、名前や年齢、性別など、その人物に紐づく情報を同時に保持してもよい。ブラックリストは、後述のセキュリティ監視装置１１３により入力することができる。
【００２７】
セキュリティ監視装置１１３は、監視者が操作する装置である。本実施形態においては、照合部１０５により照合された人物の通知を受け付け、監視者にアラートを通知する機能や、ブラックリストの入力を受け付ける機能を有するものとする。あるいは、撮影装置１１１と接続された不図示の録画装置の一機能として本機能を実現してもよい。
【００２８】
処理負荷監視部１０６は、画像処理装置１００の処理負荷の状況を監視する。本実施形態では、保持部１０３に保持されるオブジェクト情報の処理遅延状況を監視する。なお、本実施形態ではオブジェクト情報の処理遅延状況を監視する例を説明するが、ＣＰＵ使用率やメモリ使用率、またはＧＰＵ使用率を監視するように構成してもよい。
【００２９】
選択部１０７は、オブジェクト情報を選択する。動画像中の人物がリアルタイムに照合されるようにオブジェクト情報を選択するものとする。具体的な処理の流れは図２及び図３を用いて後述する。
【００３０】
＜処理＞
続いて、図２、図３および図４（ａ）を参照して、本実施形態に係る画像処理装置１００が実施する処理の手順を説明する。図２及び図３は画像処理システム１００の処理の流れの一例であり、本実施形態における画像処理装置は４つの処理スレッドにより処理を行う。それぞれ、図２（ａ）はオブジェクト情報取得処理スレッドの処理、図２（ｂ）は処理監視スレッドの処理、図３（ａ）は平常時の照合スレッドの処理、図３（ｂ）は高負荷時の照合スレッドの処理である。図４（ａ）は図３（ａ）、図３（ｂ）の選択処理の詳細を説明したものであるが、これについては後述する。
【００３１】
[オブジェクト情報取得スレッド]
まず、図２（ａ）を用いて、オブジェクト情報取得スレッドの処理の流れを説明する。Ｓ２０１において、画像取得部１０１は、撮影装置１１１から取得した動画像を各フレームの静止画像に分割する。Ｓ２０２において、追尾部１０２は、画像取得部１０１により取得された静止画像を用いて人物の追尾処理を行う。
【００３２】
Ｓ２０３において、追尾部１０２は、Ｓ２０２で行った追尾処理により得られた結果をフレーム画像毎に、保持部１０３のオブジェクト情報キューに時系列順に登録する。また、オブジェクト情報キューに最後に追加したオブジェクト情報のフレーム番号を保持部１０３で保持しておく。このフレーム番号は後述する処理監視スレッドのＳ２１１で使用する。
【００３３】
Ｓ２０４において、追尾部１０２は、解析終了指示の有無を確認する。終了指示なしの場合にはＳ２０１へ移行し、終了指示ありの場合にはオブジェクト情報取得スレッドを終了する。
【００３４】
[処理監視スレッド]
次に、図２（ｂ）を用いて、処理監視スレッドの処理の流れを説明する。Ｓ２１１において、処理負荷監視部１０６は、保持部１０３のオブジェクト情報キューに所定フレーム以上の滞留があるか否かを判定する。ここで、所定フレーム以上の滞留があるか否かを判定する方法を説明する。Ｓ２０４で説明した、保持部１０３のオブジェクト情報キューに最後に追加したオブジェクト情報のフレーム番号と、後述のＳ２２５または２３５で最後に照合処理を行ったオブジェクト情報のフレーム番号との比較を行う。これにより、現在のオブジェクト情報キューの滞留フレーム数、つまり、照合処理の遅延状況を把握することが可能となる。所定フレーム数以上の滞留がある場合にはＳ２１２に処理を移行する。一方、所定フレーム数以上の滞留がない場合にはＳ２１３へ処理を移行する。
【００３５】
すなわち、処理負荷（滞留フレーム数）が閾値未満である場合、処理モードを、選択部１０７が全てのオブジェクト情報を選択する平常モード（第１のモード）に切り替える。或いは、選択部１０７の処理を実施しないことにより全てのオブジェクト情報が選択されるようにしてもよい。一方、処理負荷が閾値以上である場合、処理モードを、選択部１０７が一部のオブジェクト情報を選択する高負荷モード（第２のモード）に切り替える。
【００３６】
Ｓ２１２において、処理負荷監視部１０６は、高負荷モードをＯＮにする。これにより、特徴量算出部１０４、照合部１０５、及び選択部１０７の各処理部は、高負荷時の照合処理を行うように制御される。高負荷時の照合処理の詳細は図３（ｂ）を用いて後述する。
【００３７】
Ｓ２１３において、処理負荷監視部１０７は、高負荷モードをＯＦＦする。これにより、特徴量算出部１０４、照合部１０５、及び選択部１０７の各処理部は、平常負荷時の照合処理を行うように制御される。平常負荷時の照合処理の詳細は図３（ａ）を用いて後述する。Ｓ２１４において、処理負荷監視部１０７は、解析終了指示の有無を確認する。終了指示なしの場合にはＳ２１１へ移行し、終了指示ありの場合には処理監視スレッドを終了する。
【００３８】
[平常時の照合スレッド]
続いて、図３（ａ）を用いて、Ｓ２１３の高負荷モードＯＦＦによる平常時の照合スレッドの処理の流れを説明する。本処理ではオブジェクト情報が一部だけ選択するようなことは行われず、すなわち、選択部１０７がすべてのオブジェクト情報を選択することに相当している。
【００３９】
Ｓ２２１において、特徴量抽出部１０４は、保持部１０３のオブジェクト情報キューにオブジェクト情報があるか否かを判定する。オブジェクト情報がない場合には、処理をＳ２２１に戻し、追尾キューにオブジェクト情報が蓄積されるまで待ち状態を継続する。
【００４０】
Ｓ２２２において、特徴量抽出部１０４は、保持部１０３のオブジェクト情報キューからオブジェクト情報を取り出す。
【００４１】
Ｓ２２３において、特徴量抽出部１０４は、Ｓ２２２で取得したオブジェクト情報を用いてオブジェクトの特徴量を取得する。本実施形態では、人物の顔の特徴量を算出する。特徴量を算出する方法はどのような方法でもよく、公知の技術を使用すればよい。
【００４２】
Ｓ２２４において、照合部１０５は、照合データベース１１２に保持されているブラックリストのすべての人物と照合を行う。より具体的には、照合データベース１１２に予め保持されるブラックリストの人物の特徴量と、Ｓ２２３で算出された特徴量との比較を行い、同じ人物か否かの判定を行う。照合の方法はどのような方法でもよく、公知の技術を使用すればよい。そして、照合の結果、ブラックリストの人物と一致すると判定された場合、照合部１０５は、オブジェクト情報と照合判定結果とをセキュリティ監視装置１１３に通知する。セキュリティ監視装置１１３は、監視者が監視するディスプレイ上に通知内容を表示するなどの処理を行い、監視者への通知を行うが、この方法の詳細については図５を用いて後述する。
【００４３】
Ｓ２２５において、照合部１０５は、高負荷モードがＯＮへ移行したか否か、および、解析終了指示の有無を確認する。その結果、高負荷モードがＯＮへの移行なし、かつ、終了指示なしの場合には、Ｓ２２１へ移行する。一方、高負荷モードがＯＮへ移行、または、終了指示ありの場合には、平常時照合スレッドを終了する。
【００４４】
[高負荷時の照合スレッド]
次に、図３（ｂ）を用いて、Ｓ２１２の高負荷モードＯＮによる高負荷時の照合スレッドの処理の流れを説明する。なお、Ｓ２３３、Ｓ２３４の処理は図３（ａ）で説明したＳ２２３、Ｓ２２４ｂの処理と同等であるため、説明を省略する。
【００４５】
Ｓ２３１において、選択部１０７は、保持部１０３のオブジェクト情報キューから、所定のフレーム数内に含まれるオブジェクト情報、または、所定の数の人物のオブジェクト情報をまとめて取り出す。ここで、取り出すフレーム数や人物の数についてはどのように決定してもよい。
【００４６】
Ｓ２３２において、選択部１０７は、Ｓ２３１で取得された複数のオブジェクト情報の中からオブジェクト情報を選択する。選択の方法の詳細については図４を用いて後述する。その後、Ｓ２３３およびＳ２３４の処理を経て、Ｓ２３５へ移行する。なお、図３（ａ）の平常時の照合スレッドは、選択部１０７がすべてのオブジェクト情報を選択することに相当する。
【００４７】
Ｓ２３５において、選択部１０７は、Ｓ２３２で選択された全てのオブジェクト情報が処理済みであるか否か判定する。全てのオブジェクト情報が処理済みである場合には処理をＳ２３６へ移行し、処理されていないオブジェクト情報が残っている場合には、Ｓ２３３に戻り、次のオブジェクト情報について、Ｓ２３３、Ｓ２３４の処理を行う。
【００４８】
Ｓ２３６において、選択部１０７は、高負荷モードがＯＦＦへ移行したか否か、および、解析終了指示の有無を確認する。その結果、高負荷モードがＯＦＦへの移行なし、かつ、終了指示なしの場合には、Ｓ２３１へ移行する。一方、高負荷モードがＯＦＦへ移行した、および／または、終了指示ありの場合には、高負荷時照合スレッドを終了する。
【００４９】
[選択処理]
次に、図４（ａ）を用いて、本実施形態に係るＳ２３２の選択処理の詳細を説明する。なお、本実施形態においては、高負荷モードがＯＮとなった場合、Ｓ２３１において、高負荷モードとなったときの初回のオブジェクト情報キューからのオブジェクト情報の取り出しは複数フレーム分行い、処理を行うが、２回目では１フレーム分のオブジェクト情報が取り出されるものとする。
【００５０】
Ｓ３０１において、選択部１０７は、Ｓ２３１で取り出されたフレーム番号Ｎ及びフレーム番号（Ｎ＋１）のオブジェクト情報を使用して、フレーム番号Ｎのフレームで追尾されている人物のうち、フレーム番号（Ｎ＋１）のフレームで追尾されていない人物のオブジェクト情報を選択する。すなわち、追尾されなくなるオブジェクトのオブジェクト情報を選択する。フレーム番号Ｎでの人物とフレーム番号（Ｎ＋１）の人物との対応付けは、オブジェクト情報に含まれる人物ＩＤを使用して行う。本実施形態では、２フレーム分の比較により選択するが、さらに多くのフレームを使用して所定のフレーム数のうちに消失する人物のオブジェクト情報を選択するように構成してもよい。
【００５１】
ここで、Ｓ３０１の処理は、フレーム番号Ｎからフレーム番号（Ｎ＋１）へのフレーム移行の際に、画面外への移動の結果、又は、人物が別の人物や物体の影となった結果、消失する人物を優先的に選択している。これにより、撮影された動画内から消える人物を選択して処理することが可能となるとともに、継続して動画内に映っている人物の特徴量算出処理、および照合処理を省略することが可能となる。そのため、リアルタイムでの照合を継続することができる。
【００５２】
Ｓ３０２において、選択部１０７は、選択される人物の数が、１回の選択処理Ｓ２３２で選択する所定の上限数を超えていないかどうかを判定する。具体的には、Ｓ３０１および後述のＳ３０３で選択される人物の数の合計が所定の上限数を超えていないかどうかを判定する。所定の上限数は、例えば１フレーム時間（３０ｆｐｓで３３ｍｓ）の間にＳ２２３およびＳ２２４の処理を実行できる回数に基づいてオブジェクト情報キューの滞留が解消するための数として予め決定しておく。あるいは、滞留フレーム数に応じて、段階的に上限数を変更してもよい。例えば、３フレームの滞留の場合には１０を上限数とし、１０フレーム滞留の場合には７を上限数とし、３０フレーム滞留の場合には５を上限数としてもよい。また、これらの段階的な上限数は、１フレームに映る人物数、オブジェクト情報キューの滞留数およびハードウェアの処理能力に基づいて予め決定しておくものとする。選択される人物の数が上限数を超えている場合には選択処理を終了し、上限数を超えていない場合には、処理をＳ３０３へ移行する。
【００５３】
Ｓ３０３において、選択部１０７は、フレーム番号Ｎで追尾されている人物のうち、フレーム番号Ｎ＋１で追尾継続している人物からランダムに１人を選択する。Ｓ３０３の処理後、再びＳ３０２に戻って、選択される人物の数が所定の上限数を超えていないかどうか判定する。
【００５４】
以上が本実施形態に係る画像処理装置１００が実施する処理の手順である。なお、図４（ｂ）及び図４（ｃ）の別の選択処理については後述の実施形態で説明する。
【００５５】
＜表示画面＞
図５を用いて、本実施形態に係るセキュリティ監視装置１１３が表示する画面の一例を説明する。図５は、監視者が監視するセキュリティ監視装置１１３の表示画面の一例である。図５（ａ）は、Ｓ２２４又はＳ２３４におけるブラックリストとの照合処理で、ブラックリストの人物と監視カメラの動画像中の人物とが照合されていない場合の表示画面である。図５（ｂ）は、Ｓ２２４又はＳ２３４におけるブラックリストとの照合処理で、ブラックリストの人物と監視カメラの動画像中の人物とが照合された場合の表示画面である。
【００５６】
図５（ａ）において、４１１は、撮影装置１１１（監視カメラ）で撮影された動画像であり、監視者が監視するエリアのカメラの動画像が並んで表示される。ここでは監視カメラＡ、Ｂ、Ｃ、Ｄのカメラの動画像がＬｉｖｅ配信で表示されているものとする。なお、図１の構成図では撮影装置１１１とセキュリティ監視装置１１３との接続関係は不図示であるが、ここでは接続されているものとする。
【００５７】
４１２は、撮影装置１１１（監視カメラ）で撮影された動画像から人物の照合を行う照合スレッドの処理モード（高負荷モードまたは平常モード）を表示している。処理モードは、処理負荷監視部１０６により図２（ｂ）のＳ２１２、Ｓ２１３で説明した処理監視スレッドで決定される。なお、本実施形態では処理モードが表示される例を説明するが、必ずしも表示しなくてもよい。また、ここでは監視カメラごとに画像処理装置１００により処理するものとし、監視カメラごとに処理モードを変更することができるものとする。
【００５８】
４１３は、通知領域である。通知領域には、セキュリティ監視装置１１３が監視者へ通知する情報を表示する。図５（ａ）では監視者への通知が存在しないため、何も表示されていない。
【００５９】
図５（ｂ）において、４１４は、図３（ａ）ののＳ２２４または図３（ｂ）のＳ２３４で説明した照合処理により、ブラックリストに登録された人物が発見された場合に監視者に通知するための通知情報である。ここでは「監視カメラＡでテロリストｘｘｘを発見」と表示されており、監視カメラＡの動画像中からブラックリストに登録されたテロリストｘｘｘの発見を通知している。
【００６０】
４１５は、４１４で通知したテロリストｘｘｘの画像であり、ブラックリストに登録された画像を使用して表示してもよいし、発見した際のトリミング画像を使用してもよいし、録画動画像を表示してもよい。あるいは、これらの何れかまたは全てを表示するように構成してもよい。以上がセキュリティ監視装置１１３で表示する表示画面の一例である。
【００６１】
以上説明したように、本実施形態では、動画像中のオブジェクト（例えば人物の顔）のオブジェクト情報を取得し、オブジェクト情報から特徴量を算出して照合を行う処理について、画像処理装置の処理負荷を監視し、処理負荷に基づいて照合対象のオブジェクト情報を選択して限定する。
【００６２】
これにより、動画像中の人が多く、かつ、照合したい人物がほとんど現れないような動画像で処理する場合にもリアルタイムに認証処理を継続できる。
【００６３】
（実施形態２）
実施形態１では、リアルタイムに処理できていない場合に撮影された動画内から消える人物を選択する例を説明した。これに対して、本実施形態では、１以上の人物のうち、フレーム画像間の人物の変化量に基づいて、変化量が閾値以上の人物のオブジェクト情報を選択する。より具体的には、フレーム画像間の人物のサイズ又は位置（座標）の変化量が小さい人物は、画面中に滞在する時間が長いと考えられるので、オブジェクト情報を優先的には選択しないようにし、照合処理の優先度を低くする。一方、変化量が大きい人物は、すぐに画面から消えてしまう可能性があるので、オブジェクト情報を優先的に選択するようにし、照合処理の優先度を高くする。これにより、リアルタイムの照合が可能になるとともに、選択処理を行うことによる照合漏れを低減することが可能となる。
【００６４】
本実施形態に係る画像処理システムおよび画像処理装置の構成は図１と同様である。また、処理の流れは図２及び図３で説明した処理の流れと同様であり、図３（ｂ）の選択処理Ｓ２３２の詳細が異なっている。
【００６５】
[選択処理]
図４（ｂ）を用いて、図３（ｂ）Ｓ２３２の選択処理の詳細を説明する。なお、図４（ｂ）のＳ３１１およびＳ３１４の処理は、それぞれ実施形態１で説明した図４（ａ）のＳ３０１およびＳ３０３の処理と同等なので説明を省略する。
【００６６】
Ｓ３１２において、選択部１０７は、フレーム番号Ｎおよびフレーム番号（Ｎ＋１）の両方において追尾されている人物のうち、移動量が大きい人物を選択する。より具体的には、人物のオブジェクト情報に含まれる顔矩形の静止画像中の位置情報をフレーム番号Ｎの及びフレーム番号（Ｎ＋１）のオブジェクト情報からそれぞれ取得し、位置（座標）の変化量を求め、閾値以上である場合に選択するものとする。位置（座標）の変化量は、撮影する対象の画角等から求めることができる。なお、ここでは位置（座標）の変化量を求めるように説明したが、他のオブジェクト情報の変化量を使用するようにしてもよい。例えば、トリミングされた人物の顔領域のサイズの変化量を使用してもよい。
【００６７】
Ｓ３１２の処理によって、動画内でＮフレーム及びＮ＋１フレーム間での変化の大きな人物を選択して処理することが可能となり、変化の小さな人物の特徴量算出処理、および照合処理を省略することが可能となる。動画内で変化が大きいことは、撮影画像の変化、例えば、顔の向きの変化も同様に大きいことを意味する。従って、本処理後のＳ２２３又はＳ２３３の特徴量算出処理で取得する特徴量の変化も大きくなる。これにより、オブジェクト情報のうち、特徴量の変化が大きいオブジェクト情報を選択することができる。
【００６８】
Ｓ３１３の処理は図４（ａ）のＳ３０２とほぼ同等であるが、一度の選択処理で選択する上限数と比較する値は、Ｓ３１１、Ｓ３１２、Ｓ３１４の処理を経た合計数である。
【００６９】
以上が、本実施形態に係る画像処理装置１００が実施する処理の手順である。なお、本実施形態では、Ｓ３１１及びＳ３１２の処理を両方実行する例を説明したが、Ｓ３１２の処理だけを行うように構成してもよい。
【００７０】
以上説明したように、本実施形態では、選択処理において、オブジェクト情報の中からオブジェクトの変化量が閾値以上のオブジェクト情報を優先して選択する。これにより、選択処理を行うことによる照合漏れを低減することが可能となる。
【００７１】
（実施形態３）
実施形態３では、選択処理において、同種類の顔画像の特徴量算出、照合処理を省略するように選択する例を説明する。より具体的には、複数フレームのオブジェクト情報を用いて、オブジェクト情報の同一人物で、顔向きの分類にまとめ、顔向きの分類ごとに所定数（１以上の値）のオブジェクト情報を選択する。すなわち、動画像中の１以上の人物の各々について人物の属性（顔向き）ごとにオブジェクト情報を分類し、各人物について属性ごとに所定数のオブジェクト情報を選択する。同じ属性（顔向き）の情報が蓄積されている場合には、少なくとも１つあればよいため、不要な情報を選択しないようにすることができる。これにより、リアルタイムの照合を実現するとともに、選択処理を行うことによる照合漏れを低減することが可能となる。
【００７２】
本実施形態に係る画像処理システムおよび画像処理装置の構成は図１と同様である。また、処理の流れは図２及び図３で説明した処理の流れと同様であり、図３（ｂ）の選択処理Ｓ２３２の詳細が異なっている。
【００７３】
[選択処理]
図４（ｃ）を用いて、図３（ｂ）のＳ２３２の選択処理の詳細を説明する。本実施形態においては、高負荷モードとなった場合、Ｓ２３１において、常に複数フレームのオブジェクト情報をオブジェクト情報キューから取り出す。取り出されるオブジェクト情報は、所定のフレーム数（以降、フレーム数はＭとする）分に予め決定しておいてもよいし、滞留数に応じてフレーム数Ｍを変更してもよい。
【００７４】
Ｓ３２１において、選択部１０７は、Ｓ２３１で取り出されたフレーム番号Ｎからフレーム番号（Ｎ＋Ｍ）のオブジェクト情報を使用し、オブジェクト情報を人物ごとに管理する。フレーム間の人物の対応付けは、人物ＩＤにより行う。
【００７５】
Ｓ３２２において、選択部１０７は、Ｓ３２１で管理されているオブジェクト情報を、さらに顔向きの分類ごとに管理する。どのように分類してもよいが、例えば、右上向き、上向き、左上向き、右向き、正面向き、左向き、右下向き、下向き、左下向きの９方向に分類する。
【００７６】
Ｓ３２３において、選択部１０７は、人物および分類ごとに管理されているオブジェクト情報から、人物および分類ごとに所定数の代表のオブジェクト情報を選択する。すなわち、１以上のオブジェクトの各々についてオブジェクトの属性（顔向き）ごとにオブジェクト情報を分類し、各オブジェクトについて属性ごとに所定数のオブジェクト情報を選択する。ここで、所定数は１以上であればいずれの値でもよい。代表の顔はいずれの顔を選択してもよいが、例えば、追尾部１０２が追尾を行う際に、顔らしさのスコアを算出し、算出されたスコアに基づいて選択してもよい。
【００７７】
このようなＳ３２１〜Ｓ３２３の処理によれば、フレーム番号Ｎからフレーム番号Ｎ＋Ｍフレームにおける同一分類の顔から代表的な画像を優先的に選択することができる。これにより、動画内で似たような顔の中から代表の顔を選択して処理することが可能となり、似たような顔の特徴量抽出処理、および照合処理を省略することが可能となる。そのため、リアルタイムでの照合処理が可能となる。
【００７８】
以上が、本実施形態に係る画像処理装置１００が実施する処理の手順である。なお、実施形態２で説明した選択処理を併用するようにしてもよいし、オブジェクト情報キューの処理遅延フレーム数に基づいて段階的に処理を加えるようにしてもよい。
【００７９】
以上説明したように、本実施形態では、複数フレームのオブジェクト情報を用いて、オブジェクト情報の同一人物について、顔向きにより分類し、顔向きの分類ごとに所定数のオブジェクト情報を選択する。これにより、リアルタイムでの照合が可能になるとともに、選択処理を行うことによる照合漏れを低減することが可能となる。
【００８０】
なお、前述の実施形態では、照合スレッドで特徴量の算出、およびブラックリストの人物と照合する処理を行うように説明したが、特徴量算出のスレッドと照合処理のスレッドとを別々に処理してもよい。その場合には、各スレッド前に図２（ｂ）で説明した処理監視スレッドを設け、それぞれの処理で負荷モードを切り替えるようにする。この場合には、オブジェクト情報キューと特徴量キューとを別々に用意し、特徴量キューではオブジェクト情報に加えて特徴量を保持する。これにより、独立した処理で負荷状況を監視することが可能となる。
【００８１】
また、前述の実施形態では、オブジェクト情報に基づいて処理負荷を低減する方法を説明したが、特徴量算出処理や照合処理の内容を切り替えるようにしてもよい。例えば、処理負荷に基づいて、算出する特徴量の種類を変更してもよい。具体的には、処理負荷が低い場合には、精度重視で、算出時間が長い特徴量を使用し、処理負荷が高い場合には、速度重視で、精度重視の特徴量と比べて精度の低い特徴量を使用する。すなわち、処理負荷が閾値未満である場合、第１の特徴量を使用し、処理負荷が閾値以上である場合、第１の特徴量よりも処理負荷が小さく照合精度が低い第２の特徴量を使用する。
【００８２】
また、前述の実施形態では、保持部１０３に保持されるのはオブジェクト情報である例を説明したが、特徴量算出部１０４により算出された特徴量を追加的に又は代替的に保持するように構成してもよい。そして、処理負荷監視部１０６は、特徴量の蓄積量を監視することにより、処理負荷を監視してもよい。
【００８３】
また、前述の実施形態では、照合データベース１１２にはブラックリストが登録されており、ブラックリストとの照合を行う例を説明したが、ブラックリストに限定されるものではない。ホワイトリストを登録しておき、ホワイトリストと照合するように構成してもよい。
【００８４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１００：画像処理装置、１０１：画像取得部、１０２：追尾部、１０３：保持部、１０４：特徴量算出部、１０５：照合部、１０６：処理負荷監視部１０６、選択部１０７、１１１：撮影装置、１１２：照合データベース、１１３：セキュリティ監視装置
【図１】
2020009383.tif 000003
【図２】
2020009383.tif 000004
【図３】
2020009383.tif 000005
【図４】
2020009383.tif 000006
【図５】
2020009383.tif 000007