(57)【要約】  発明は、特定の人物の類似画像検索あるいは類似画像検知で精度良く検索あるいは検知できない人物の一覧作成あるいは通知することを目的とする。  発明の画像処理システムは、ネットワークに接続された録画装置を有する画像処理システムであって、録画装置は第一の処理として、一つの画像から特定の対象を検索した結果と、他の画像から特定の対象を検索した結果を照合し、第二の処理は第一の処理の照合で特定の対象との照合が不適合の判定条件を設定し、他の画像から特定の対象の照合が前記判定条件により、照合が不適合と判定した場合に結果を通知することを特徴とする。
2017056948.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続された録画装置を有する画像処理システムであって、
前記録画装置は、第一の処理として、一つの画像から特定の対象を検索した結果と、他の画像から前記特定の対象を検索した結果を照合し、
第二の処理は、前記第一の処理の照合で特定の対象との照合不適合の判定条件を設定し、他の画像から前記特定の対象の照合が前記判定条件により、照合不適合と判定した場合に結果を通知することを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記第二の処理は、照合対象の特徴量を抽出し、予め設定している判定条件と比較し、前記特徴量が所定の類似度以上と判定した場合に結果を通知することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、
前記録画装置は、特徴量記録部を有し、
前記第二の処理は、照合対象の特徴量を抽出して前記特徴量記録部に記憶し、入力されたキー画像の特徴量と前記特徴量記録部に記憶した特徴量を比較し、前記キー画像に類似度が高い結果を表示することを特徴とする画像処理システム。
【請求項４】
請求項１から請求項３に記載の画像処理システムにおいて、
前記特定の対象が人物の顔画像であることを特徴とする画像処理システム。
【請求項５】
請求項１から請求項４に記載の画像処理システムにおいて、
前記録画装置は、前記特定の対象の画像を複数フレームにまたがって追跡し、全てのフレームで照合不適合の条件であると判定した場合に判定結果を出力することを特徴とする画像処理システム。
【請求項６】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が画素数であり、画像上の対象の画素数が所定値未満の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項７】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が向きであり、画像上の対象の向きが所定値の範囲以外の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項８】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が明るさであり、画像上の対象の明るさが所定値未満の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項９】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象あるいは対象の一部が度合いであり、画像上の対象あるいは対象の一部の度合いが所定値未満の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項１０】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件が対象への装着物の有無であり、画像上の対象に装着物が有る場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項１１】
請求項１から請求項５に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件が対象の画素数、対象の向き、対象の明るさ、対象への装着物の有無であることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関し、特に類似画像検索あるいは類似画像検知に関するものである。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存するものである。【０００３】
映像監視システムでの映像の録画・保存において、記録媒体には従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、録画できる映像の量を飛躍的に増大させ、より多地点や長時間の録画を可能にしつつある反面、録画画像を目視でチェックする負担の増加が問題として顕在化しつつある。【０００４】
このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生を画像認識の技術を用いてリアルタイムに自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。【０００５】
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の２種類に大別される。
一つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリには、イベント発生時刻や撮像装置番号等を検索対象範囲に絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
二つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。【０００６】
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、録画画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。録画画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。【０００７】
先行技術文献としては、例えば、特許文献１に、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムに関し、検索回数の抑制と検索精度の向上を両立させる発明が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−１０１４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
画像処理システムの類似画像検索において、映像中への人物の登場を検索の対象として、リアルタイムに記録（登録処理）するが、マスクやサングラスなどの装着や、顔の向きが正面でない人物の顔が登録されていても、キー画像検索の照合処理がうまくいかず対象人物が検索結果に出ず、見逃してしまう場合がある。
本発明は、特定の人物の類似画像検索あるいは類似画像検知で精度良く検索あるいは検知できない人物の一覧を作成あるいは通知することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理システムは、ネットワークに接続された録画装置を有する画像処理システムであって、録画装置は第一の処理として、一つの画像から特定の対象を検索した結果と、他の画像から前記特定の対象を検索した結果を照合し、第二の処理は第一の処理の照合で特定の対象との照合不適合の判定条件を設定し、他の画像から特定の対象の照合が判定条件により、照合不適合と判定した場合に結果を通知することを特徴とする。【００１１】
また、本発明の画像処理システムは、上述の画像処理システムであって、第二の処理は照合対象の特徴量を抽出し、予め設定している判定条件と比較し、特徴量が所定の類似度以上と判定した場合に結果を通知することを特徴とする。【００１２】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は特徴量記録部を有し、第二の処理は照合対象の特徴量を抽出して特徴量記録部に記憶し、入力されたキー画像の特徴量と特徴量記録部に記憶した特徴量を比較し、キー画像に類似度が高い結果を表示することを特徴とする。【００１３】
また、本発明の画像処理システムは、上述の画像処理システムであって、特定の対象が人物の顔画像であることを特徴とする。【００１４】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は特定の対象の画像を複数フレームにまたがって追跡し、全てのフレームで照合不適合の条件であると判定した場合に判定結果を出力することを特徴とする。【００１５】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件とする対象が画素数であり、画像上の対象の画素数が所定値未満の場合に照合に適さないと判定することを特徴とする。【００１６】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件とする対象が向きであり、画像上の対象の向きが所定値の範囲以外の場合に照合に適さないと判定することを特徴とする。【００１７】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件とする対象が明るさであり、画像上の対象の明るさが所定値未満の場合に照合に適さないと判定することを特徴とする。【００１８】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件とする対象あるいは対象の一部が度合いであり、画像上の対象あるいは対象の一部の度合いが所定値未満の場合に照合に適さないと判定することを特徴とする。【００１９】
また、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件が対象への装着物の有無であり、画像上の対象に装着物が有る場合に照合に適さないと判定することを特徴とする。【００２０】
さらに、本発明の画像処理システムは、上述の画像処理システムであって、録画装置は照合が不適合の判定条件が対象の画素数、対象の向き、対象の明るさ、対象への装着物の有無であることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、特定の人物の類似画像検索あるいは類似画像検知で精度良く検索あるいは検知できない人物の一覧を作成あるいは通知をすることができる。これにより、全ての特定人物について再度照合する必要がなくなり、一部の照合のうまくいかなかった特定人物のみ再度照合を行えばよく、効率よく人物の照合をすることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る画像処理システムのシステム構成図である。
【図２】本発明の一実施形態に係る画像処理システムに用いる撮像装置のハードウェア構成図である。
【図３】本発明の一実施形態に係る画像処理システムに用いる録画装置のハードウェア構成図である。
【図４】本発明の一実施形態に係る画像処理システムに用いる端末装置のハードウェア構成図である。
【図５】本発明の一実施形態に係る画像処理システムに用いられる１人物あたりの登録処理手順を示す図である。
【図６】本発明の一実施形態に係る画像処理システムに用いられる登録処理における、ある人物の画面上の画素数、向き、明るさ、装着物の有無及び判定結果を示す図である。
【図７】本発明の他の一実施形態に係る画像処理システムのシステム構成図である。
【図８】本発明の他の一実施形態に係る画像処理システムに用いられる１画像あたりの照合処理手順を示す図である。
【図９】本発明の他の一実施形態に係る画像処理システムに用いられる、撮像装置で撮影した人物Ｃの顔のパーツ（左右の目と口）検出の対象らしさの値と照合実施判定フラグの関係を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態に係る画像処理システムのシステム構成図である。
画像処理システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成されている。
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local  Area  Network）等の各装置を相互に接続して通信を行う通信手段である。
【００２４】
撮像装置２０１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換された画像データを、ネットワーク２００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。
録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本一実施例では、録画装置１０２に本発明の方式を含む人物検索機能も搭載している。人物検索機能は録画装置１０２とは別個の人物検索装置としてもよい。
【００２５】
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１、照合不適判定処理部１２０の各処理部で構成されている。尚、これら各処理部は、必ずしも録画装置内に構成される必要はなく、録画装置とは別に画像処理装置を備え、画像処理装置に各処理部を備えてもよい。
【００２６】
画像送受信部２１０は、装置外部からの画像入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（Identification）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。
【００２７】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出をおこない、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。人物が存在するか否かは一般にある当該画像領域の人物らしさが閾値を上回っているか否かによって判定される。
【００２８】
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、あるいは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
【００２９】
人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００３０】
要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、検索を行う。
登場イベント検索部２１９は、要求受信部２１７にて受信した要求が登場イベント検索要求であった場合に、検索を行う。
【００３１】
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置１０３への送信を行う。
キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部２１７にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
【００３２】
照合不適判定処理部１２０は人物領域検出部２１３の検出結果に対し、照合がうまくいく画像か否かを判定する処理を行う。つまり、照合不適判定処理部１２０は、フレーム毎に照合対象の画像とするか否か（照合がうまくいかない場合）の判定条件（例えば後述する図５のステップ５００６〜５００９）に基づいて照合不適人物を判定する。
【００３３】
端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２、複数検索キー選択部１１３の各処理部にて構成されている。また、本装置には、本発明の方式を実現するための人物検索機能も搭載している。
【００３４】
検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」ということにする。
【００３５】
検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果データの画面表示を行う。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知および取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置１０２への送信を行う。
【００３６】
複数検索キー選択部１１３は、検索キーが複数選択されたときにより少ない数の検索キーを適切に選択する処理を行う。尚、複数検索キー選択部１１３は録画装置１０２内に設けても良い。
【００３７】
次に、撮像装置２０１のハードウェア構成について図２を用いて説明する。
図２は本発明の一実施形態に係る画像処理システムに用いる撮像装置のハードウェア構成図である。
撮像装置２０１は、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークＩ／Ｆ（Interface）２４５が、バス２４０で結合された形態で構成されている。
【００３８】
撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。
符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint  Photographic  Experts  Group）などの画像データに変換する。
主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。
ネットワークＩ／Ｆ２４５は、主記憶部２４２に記憶されている画像データを、ネットワーク２００を介して録画装置１０２に送信するためのインタフェースである。
【００３９】
次に、録画装置１０２のハードウェア構成について図３を用いて説明する。
図３は本発明の一実施形態に係る画像処理システムに用いる録画装置のハードウェア構成図である。
録画装置１０２は、ＣＰＵ（Central  Processing  Unit）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態で構成されている。
【００４０】
ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。
主記憶部２５２は、ＤＲＡＭ（Dynamic  Random  Access  Memory）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして記憶するための中間的なメモリである。
【００４１】
補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを記憶する。
ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。
【００４２】
次に、端末装置１０３のハードウェア構成について図４を用いて説明する。
図４は本発明の一実施形態に係る画像処理システムに用いる端末装置のハードウェア構成図である。
端末装置１０３は、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態で構成されている。
【００４３】
ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。
主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。
補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを記憶する。
表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。
【００４４】
入出力Ｉ／Ｆ２６５は、キーボード２８０やポインティングデバイスであるマウス２８２などの入出力装置と接続するためのインタフェースである。
ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したり、録画装置１０２から画像データを受信するためのインタフェースである。
表示装置２７０は、例えば、ＬＣＤ（Liquid  Crystal  Display）などの装置であり、画像や動画を表示する装置である。
【００４５】
次に、本発明の一実施形態に係る画像処理システムに用いられる精度良く検索あるいは検知できない人物の一覧を作成あるいは通知する方法について図５及び図６を用いて説明する。
図５は、本発明の一実施形態に係る画像処理システムに用いられる１人物あたりの登録処理手順を示す図である。
図６は、本発明の一実施形態に係る画像処理システムに用いられる登録処理における、ある人物の画面上の画素数、向き、明るさ、装着物の有無及び判定結果を示す図である。
本一実施例では、画像処理システムの類似画像検索において検索精度が、人物の画面上の画素数、向き、明るさ、装着物の有無と相関があることに基づいている。
【００４６】
図５において、録画装置１０２のＣＰＵ２５１は、図１の録画装置１０２に記載の機能を用いて１人物あたりの登録処理を開始する。
ＣＰＵ２５１は、５００１の処理で、主記憶部２５２および補助記憶部２５３の処理に必要なメモリ容量の確保と、照合実施判定フラグをＮＧに初期化する。
【００４７】
画像の受信処理５００２では、画像送受信部２１０によって画像の受信が行われる。
人物領域の検出処理５００３では、人物領域検出部２１３によって、画像から人物領域の検出が行われる。本一実施例では人物領域とは顔の領域である。
人物領域の追跡処理５００４では、人物領域検出部２１３によって、前回あるいは直前の数フレームの検出結果と、今フレームの検出結果から同一の人物は同一の人物として追跡する処理を行う。
【００４８】
以下の処理は、照合不適判定処理部１２０において行う。
追跡終了判定処理５００５では、人物領域の追跡処理５００４の結果、追跡が終わった人物が存在するか否かを判定し、追跡が終わった人物が存在する場合（ＹＥＳ）には５０１３の処理に進み、追跡が終わった人物が存在しない場合（ＮＯ）には５００６の処理に進む。
【００４９】
画素数判定処理５００６では、対象の画像上の画素数が所定値以上か否かを判定し、画素数が所定値以上の場合（ＹＥＳ）には５００７の処理に進み、画素数が所定値未満の場合（ＮＯ）には５００２の処理に戻る。
向き判定処理５００７では、対象の見かけの向きが所定値以内か否かを判定し、向きが所定値以内の場合（ＹＥＳ）には５００８の処理に進み、向きが所定値外の場合（ＮＯ）には５００２の処理に戻る。
【００５０】
明るさ判定処理５００８では、対象の画像上の明るさが所定値以上か否かを判定し、明るさが所定値以上の場合（ＹＥＳ）には５００９の処理に進み、明るさが所定値未満の場合（ＮＯ）には５００２の処理に戻る。
装着物判定処理５００９では、対象の人物の顔におけるマスク等の装着物の有無を判定し、装着物が有る場合（ＹＥＳ）には５０１０の処理に進む。
【００５１】
照合実施フラグをＯＫに変更処理５０１０では、当該人物の照合実施判定フラグをＯＫに変更する処理を行う。
人物特徴量の抽出処理５０１１では、周知の画像認識技術を用いて特徴量算出を行う。
人物特徴量の記録処理５０１２では、人物特徴量の抽出処理５０１１で算出した特徴量の記録媒体への書込みを行う。
【００５２】
照合実施判定がＮＧか判定処理５０１３では、追跡を終了した人物の照合実施判定フラグがＮＧかＯＫかを判定し、照合実施判定フラグがＮＧの場合（ＹＥＳ）には５０１４の処理に進み、照合実施判定フラグがＯＫの場合（ＮＯ）には５００６の処理に進む。
人物特徴量の記録処理５０１４では、照合に適さない画像しか得られなかった人物を記録するための照合ＮＧ人物ＤＢ（Database；主記憶部２５２、補助記憶部２５３等）への書込みを行い、５００６の処理に進む。
【００５３】
次に、本発明の一実施例である画像処理システムの動作について図５と図６を用いて説明する。
図６は本発明の一実施形態に係る画像処理システムに用いられる登録処理における、ある人物の画面上の画素数、向き、明るさ、装着物の有無及び判定結果を示す図である。
図６（ａ）は人物Ａが歩行する動画における判定結果を示すテーブル図である。なお、判定結果テーブルは主記憶部２５２、補助記憶部２５３等に記憶している   図６（ａ）（ｂ）のテーブルにおいて、判定基準は、画素数が４０以上、向きが左右１５°以内、明るさが５０以上、装着物がなしである。つまり、画素数、向き、明るさ、装着物の全ての判定基準が規定範囲内である場合のみ照合実施判定フラグはＯＫとなる。
【００５４】
録画装置１０２のＣＰＵ２５１は、図６（ａ）の測定結果に基づいて図５の処理を実施する。
１フレーム目は、画素数が“３１”で、判定基準の “４０”より小さいため、画素数判定処理５００６において“ＮＧ”となり、画像の受信処理５００２に戻る。
２フレーム目は、画素数が “４２”であり、判定基準の“４０”以上であるため、向き判定処理５００７に進み、向きが“左３０°”で、判定基準の“左右１５°以内”の判定基準を外れるので、向き判定処理５００７において“ＮＧ”となり、画像の受信処理５００２に戻る。
【００５５】
３フレーム目は、画素数“４３”、向き“右１０°”と判定基準内であるため、明るさ判定処理５００８に進み、明るさが“４３”と判定基準値の“５０以上”に満たないので、明るさ判定処理５００８において“ＮＧ”となり、画像の受信処理５００２に戻る。
４フレーム目は、画素数“５４”、向き“右１０°”、明るさ“５４”と判定基準内であるため、装着物判定処理５００９に進み、装着物が“なし”であるため、５０１０の処理で照合実施判定フラグを“ＯＫ”に変更処理し、５０１１の処理に進む。
【００５６】
その後、追跡終了判定処理５００５において、人物Ａの追跡が終了した（ＹＥＳ）と判定して５０１３の処理に進み、照合実施判定フラグがＮＧか判定処理５０１３に進み、４フレーム目において、照合実施判定フラグが“ＯＫ”となっているために判定ＮＯとなり、５００６の処理に進む。
【００５７】
次に、録画装置１０２のＣＰＵ２５１は、図６（ｂ）の測定結果に基づいて図５の処理を実施する。
図６（ｂ）は人物Ｂが歩行する動画における判定結果を示すテーブル図である。なお、判定結果テーブルは主記憶部２５２、補助記憶部２５３等に記憶している   図６（ｂ）の測定結果において、フレーム１、フレーム２、フレーム３ともに、画素数、向き、明るさは判定基準内であり、装着物判定処理５００９に進む。３つのフレームは全てが装着物 “あり”であるため、装着物判定処理５００９で（ＹＥＳ）となり、画像の受信処理５００２に戻る。
【００５８】
その後、追跡終了判定処理５００５において、人物Ｂの追跡が終了した（ＹＥＳ）と判定して５０１３の処理に進み、照合実施判定フラグがＮＧか判定処理５０１３に進み、全てのフレームにおいて、照合実施判定フラグが“ＮＧ” となっているために判定ＹＥＳとなり、照合ＮＧ人物ＤＢへの記録処理５０１４に進む。
つまり、ある人物の画像（動画像）において、フレーム毎に照合適合か否かの判定を行い、照合実施（適合）判定フラグがＯＫのフレームが少なくとも１つあれば照合ＮＧ人物ＤＢへの記録を行わないが、照合実施（適合）判定フラグが全てＮＧの場合には、照合ＮＧ人物ＤＢへの記録を行うこととするものである。
尚、本発明の一実施形態では、画素数、向き、明るさ、装着物の順でそれぞれの条件が規定範囲内であるかの判定を行っているが、必ずしも判定の順番はこれに限定されず、どのような順番でも良い。さらに、判定条件は、１つ以上であればいくつでもよく、どのような組み合わせでも構わない。
【００５９】
次に、本発明の他の一実施形態について図７〜図９を用いて説明する。  図７は、本発明の他の一実施形態に係る画像処理システムのシステム構成図である。
図７に示すように、ネットワーク２００に、撮像装置２０１、端末装置７０３が接続され、互いに通信可能な状態で構成されている。
【００６０】
端末装置７０３は、機能構成として、画像送受信部７１０、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、類似人物検知部７１８、検知結果表示部７２３、照合不適判定処理部１２０の各処理部で構成されている。
画像送受信部７１０は、装置外部からの画像入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信を行う。
人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５は、図１と同様であるので説明を省略する。
【００６１】
類似人物検知部７１８は、画像送受信部７１０において撮像装置２０１から受信した画像に対し、人物領域検出部２１３で検出した結果、人物が含まれていた場合において、当該人物の特徴量を人物特徴量抽出部２１４で抽出した結果と、あらかじめ検知対象として記録しておいた人物特徴量記録部２１５に記録されている特徴量との比較を行い、類似度が所定値以上か否かの判定を行う。
検知結果表示部７２３は、類似人物検知部７１８から得た類似人物検知結果を端末装置７０３のモニタに表示する。
照合不適判定処理部１２０は、人物領域検出部２１３の検出結果に対し、照合がうまくいく画像か否かを判定する処理を行う。つまり、照合不適判定処理部１２０は、フレーム毎に照合対象の画像とするか否か照合不適合（照合がうまくいかない場合）の判定条件（例えば後述する図５のステップ８００１〜８００３）に基づいて照合不適合人物を判定する。
【００６２】
端末装置７０３は、一部の機能、例えば、人物領域検出部２１３が撮像装置２０１の内部にあってもよい。また、端末装置７０３は、機能を２つに分け、検知結果表示部７２３を別の端末装置内に移してもよい。なお、端末装置７０３のハードウェア構成は図４に示す端末装置１０３のハードウェア構成と同じであってもよい。
【００６３】
次に、本発明の他の一実施形態に係る画像処理システムに用いる人物選択方法について図８及び図９を用いて説明する。
図８は、本発明の一実施形態に係る画像処理システムに用いられる１画像あたりの照合処理手順を示す図である。
図８の初期化処理５００１から追跡終了判定５００５までは図５の説明と同一であるので省略する。
【００６４】
右目らしさ判定８００１では、右目検出処理の結果得られた右目らしさの値に対して規定値（例えば０．５）以上であるか否かを判定し、規定値未満の場合（ＮＯ）には画像の受信処理５００２に戻り、規定値以上の場合（ＹＥＳ）には左目らしさ判定処理８００２に進む。例えば、対象の人物がサングラスをかけている場合、帽子を目深にかぶっている場合、向かって右を向いている場合のような照合処理がうまくいかない条件の場合に、右目らしさの値は規定値未満となる。
【００６５】
左目らしさ判定８００２では、左目検出処理の結果得られた左目らしさの値に対して規定値（例えば０．５）以上であるか否かを判定し、規定値未満の場合（ＮＯ）には画像の受信処理５００２に戻り、規定値以上の場合（ＹＥＳ）には口らしさ判定処理８００３に進む。例えば、対象の人物がサングラスをかけている場合、帽子を目深にかぶっている場合、向かって左を向いている場合のような照合処理がうまくいかない条件の場合に、左目らしさの値は規定値未満となる。
【００６６】
口らしさ判定８００３では、口検出処理の結果得られた口らしさの値に対して規定値（例えば０．５）以上であるか否かを判定し、規定値未満の場合（ＮＯ）には画像の受信処理５００２に戻り、規定値以上の場合（ＹＥＳ）には５０１０の処理に進む。例えば、対象の人物がマスクをかけている場合のような照合処理がうまくいかない条件の場合に、口らしさの値は規定値未満となる。
【００６７】
照合実施判定フラグをＯＫに変更処理５０１０および人物特徴量の抽出処理５０１１は図５の説明と同一であるので省略する。
人物特徴量の比較による類似人物検知処理８００４では、予め端末装置７０３の主記憶部や補助記憶部２５３等に記憶してある人物の特徴量と人物特徴量の抽出処理５０１１で算出した特徴量を比較し、似ているか否かを判定し、似ていれば、検知結果表示部７２３によって表示装置に表示し、ユーザに確認を促す。
【００６８】
照合実施判定がＮＧか判定処理５０１３では、追跡を終了した人物の照合実施判定フラグがＮＧかＯＫかを判定し、照合実施判定フラグがＮＧの場合（ＹＥＳ）には８００５の処理に進み、照合実施判定フラグがＯＫの場合（ＮＯ）には８００１の処理に進む。
照合ＮＧ人物の表示処理８００５では、照合に適さない画像しか得られなかった人物を、検知結果表示部７２３によって表示装置に表示し、ユーザに確認を促す。
【００６９】
図９は本発明の他の一実施形態に係る画像処理システムに用いられる、撮像装置で撮影した人物Ｃの顔のパーツ（左右の目と口）検出の対象らしさの値と照合実施判定フラグの関係を示す図である。
図９（ａ）は人物Ｃが歩行する動画における判定結果を示すテーブル図である。
人物Ｃは、マスクをかけてカメラ前を通行する人物であり、計３フレームの人物領域の検出が行われる人物である。
ここで、１フレーム目から３フレーム目まで、全ての画像で右目検出の右目らしさの値と左目検出の左目らしさの値は規定値である０．５以上であり、口検出の口らしさの値は“０．０４”、“０．０２”、“０．０１”と規定値である０．５未満の値となっている。
【００７０】
よって、１フレーム目から３フレーム目まで全て、右目らしさ判定処理８００１では左目らしさ判定処理８００２に進み、左目らしさ判定処理８００２は口らしさ判定処理８００３に進む。
次に、口らしさ判定処理８００３において、口検出の口らしさの値が規定値である０．５未満（ＮＯ）であるので、画像の受信処理５００２に戻る。
【００７１】
その後、追跡終了判定処理５００５において、人物Ｃの追跡が終了した（ＹＥＳ）と判定して５０１３の処理に進み、照合実施判定フラグがＮＧか判定処理５０１３に進み、全てのフレームにおいて、照合実施判定フラグが“ＮＧ”となっているために判定ＹＥＳとなり、照合ＮＧ人物の表示処理８００５へ進む。
【００７２】
本発明の他の一実施例では、右目らしさ判定処理８００１、左目らしさ判定処理８００２及び口らしさ判定処理８００３を設けたが、耳や鼻など人物の別の部分を両目及び口の代わりに、あるいは両目及び口に追加して判定する処理を設けてもよい。
【００７３】
本発明の実施形態である画像処理システムは、特定の人物の類似画像検索あるいは類似画像検知で精度良く検索あるいは検知できない人物の一覧作成あるいは通知することができる。
【００７４】
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
【産業上の利用可能性】
【００７５】
照合できない人物を判定結果毎に一覧にして照合リストから外すことによって、照合のうまくいかなかった人物のみの照合を再度行って、効率よく人物の照合を行う用途に適用できる。
【符号の説明】
【００７６】
１０２：録画装置、１０３：端末装置、１１０：キーワード記録装置、１１１：キーワード検索部、１１２：キーワード付与要求送信部、１１３：複数検索キー選択部、１２０：照合不適判定処理部、２００：ネットワーク、２０１：撮像装置、２１０：画像送受信部、２１１：画像記録部、２１２：再生制御部、２１３：人物領域検出部、２１４：人物特徴量抽出部、２１５：人物特徴量記憶部、２１６：属性情報記録部、２１７：要求受信部、２１８：類似人物検索部、２１９：登場イベント検索部、２２０：検索結果送信部、２２１：検索要求送信部、２２２：検索結果受信部、２２３：検索結果表示部、２２４：再生画像表示部、２２５：画面操作検知部、２４０：バス、２４１：撮像部、２４２：主記憶部、２４３：符号化部、２４５：ネットワークＩ／Ｆ、２５０：バス、２５１：ＣＰＵ、２５２：主記憶部、２５３：補助記憶部、２５４：ネットワークＩ／Ｆ、２６０：バス、２６１：ＣＰＵ、２６２：主記憶部、２６３：補助記憶部、２６４：表示Ｉ／Ｆ、２６５：入出力Ｉ／Ｆ、２６６：ネットワークＩ／Ｆ、２７０：表示装置、２８０：キーボード、２８２：マウス、７０３：端末装置、７１０：画像送受信部、７１８：類似人物検知部、７２３：検知結果表示部。
【図１】
2017056948.tif 000003
【図２】
2017056948.tif 000004
【図３】
2017056948.tif 000005
【図４】
2017056948.tif 000006
【図５】
2017056948.tif 000007
【図６】
2017056948.tif 000008
【図７】
2017056948.tif 000009
【図８】
2017056948.tif 000010
【図９】
2017056948.tif 000011
【手続補正書】
【提出日】平成30年3月15日(2018.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ネットワークに接続された録画装置を有する画像処理システムであって、
前記録画装置は、第一の処理として、画像から抽出した特定の対象の特徴量と、予め記憶してある、他の画像から抽出した特徴量と、を照合し、
第二の処理は、前記第一の処理の照合前に、照合不適合の判定条件を設定し、前記判定条件により、照合不適合と判定した場合に結果を通知することを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が画素数であり、画像上の対象の画素数が所定値未満の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が向きであり、画像上の対象の向きが所定値の範囲以外の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件とする対象が明るさであり、画像上の対象の明るさが所定値未満の場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項５】
請求項１に記載の画像処理システムにおいて、
前記録画装置は、前記照合が不適合の判定条件が対象への装着物の有無であり、画像上の対象に装着物が有る場合に照合に適さないと判定することを特徴とする画像処理システム。
【請求項６】
請求項１から請求項５のいずれかに記載の画像処理システムにおいて、
前記特定の対象が人物の顔画像であることを特徴とする画像処理システム。
【請求項７】
請求項１から請求項６のいずれかに記載の画像処理システムにおいて、
前記録画装置は、前記特定の対象の画像を複数フレームにまたがって追跡し、全てのフレームで照合不適合の条件であると判定した場合に判定結果を出力することを特徴とする画像処理システム。
【請求項８】
画像から特定の対象を検出し、当該対象の特徴量を抽出し、抽出した当該特徴量と、予め記憶してある特徴量と、の類似度を判定し、その判定結果を表示する画像処理方法であって、
当該対象の特徴量を抽出する前に、予め設定された判定条件により、当該対象が照合不適合かどうかを判定し、照合不適合である場合、予め記憶してある特徴量との類似度を判定せずに、当該対象の画像を表示し、照合不適合ではない場合、抽出した当該特徴量と、予め記憶してある特徴量と、の類似度を判定し、その判定結果を表示することを特徴とする画像処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理システムは、ネットワークに接続された録画装置を有する画像処理システムであって、録画装置は第一の処理として、画像から抽出した特定の対象の特徴量と、予め記憶してある、他の画像から抽出した特徴量と、を照合し、第二の処理は、第一の処理の照合前に、照合不適合の判定条件を設定し、判定条件により、照合不適合と判定した場合に結果を通知することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
類似人物検知部７１８は、画像送受信部７１０において撮像装置２０１から受信した画像に対し、人物領域検出部２１３で検出した結果、人物が含まれていた場合において、当該人物の特徴量を人物特徴量抽出部２１４で抽出した結果と、あらかじめ検知対象として記録しておいた人物特徴量記録部２１５に記録されている特徴量との比較を行い、類似度が所定値以上か否かの判定を行う。
検知結果表示部７２３は、類似人物検知部７１８から得た類似人物検知結果を端末装置７０３のモニタに表示する。
照合不適判定処理部１２０は、人物領域検出部２１３の検出結果に対し、照合がうまくいく画像か否かを判定する処理を行う。つまり、照合不適判定処理部１２０は、フレーム毎に照合対象の画像とするか否か照合不適合（照合がうまくいかない場合）の判定条件（例えば後述する図８のステップ８００１〜８００３）に基づいて照合不適合人物を判定する。
【国際調査報告】
2017056948.tif 000012
2017056948.tif 000013
2017056948.tif 000014
2017056948.tif 000015