(57)【特許請求の範囲】
【請求項１】
第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得部と、
前記第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、前記第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得部と、
学習済みの機械学習モデルを用いて、前記第一の視覚的特徴量と、前記第一の物理的特徴量と、前記第二の視覚的特徴量と、前記第二の物理的特徴量とから、前記第一のオブジェクトと前記第二のオブジェクトが同一のオブジェクトであるか否かを判定する判定部と、
を備え、
前記判定部は、
前記学習済みの機械学習モデルの入力として、前記第一の視覚的特徴量と前記第一の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、前記学習済みの機械学習モデルの入力として、前記第二の視覚的特徴量と前記第二の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記第一の特徴量ベクトルと前記第二の特徴量ベクトルとの類似度を算出する類似度算出部と、
前記類似度算出部が算出した前記類似度に基づいて、前記第一の画像データに現れる前記第一のオブジェクトと、前記第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定する類似度判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第一の画像データが示す画像内において前記第一のオブジェクトを検出した領域を示すデータである第一の検出領域データをリサイズした第一のリサイズデータから、前記第一の視覚的特徴量を抽出し、前記第二の画像データが示す画像内において前記第二のオブジェクトを検出した領域を示すデータである第二の検出領域データを前記第一のリサイズデータと同じサイズにリサイズした第二のリサイズデータから、前記第二の視覚的特徴量を抽出する視覚的特徴量抽出部をさらに備え、
前記視覚的特徴量取得部は、前記視覚的特徴量抽出部が前記第一の検出領域データから抽出した前記第一の視覚的特徴量を取得する
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一の画像データを取得する画像取得部と、
前記第一の画像データから前記第一のオブジェクトを検出し、前記第一の検出領域データを出力するオブジェクト検出部と、
をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクト検出部から前記第一の検出領域データが入力され、前記第一の検出領域データから前記第一の物理的特徴量を推定する物理的特徴量推定部と、をさらに備え、
前記物理的特徴量取得部は、前記物理的特徴量推定部が前記第一の検出領域データから推定した前記第一の物理的特徴量を取得する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第一の画像データと、前記第一のオブジェクトの前記第一の画像データにおける特徴を示す特徴記述子であり、前記第一の視覚的特徴量を含む第一の特徴記述子とを対応付けて記憶する記憶部をさらに備え、
前記視覚的特徴量取得部は、前記記憶部に記憶された前記第一の特徴記述子に含まれる前記第一の視覚的特徴量を取得する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記記憶部は、前記第一の視覚的特徴量と前記第一の物理的特徴量とを含む前記第一の特徴記述子を記憶し、
前記物理的特徴量取得部は、前記記憶部に記憶された前記第一の特徴記述子に含まれる前記第一の物理的特徴量を取得する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
第一のオブジェクトを撮像し、前記第一のオブジェクトが現れる第一の画像データを出力する第一のネットワークカメラと、
第二のオブジェクトを撮像し、前記第二のオブジェクトが現れる第二の画像データを出力する第二のネットワークカメラと、
前記第一の画像データと前記第二の画像データとを取得する画像取得部と、
前記第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、前記第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得部と、
前記第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、前記第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得部と、
学習済みの機械学習モデルを用いて、前記第一の視覚的特徴量と、前記第一の物理的特徴量と、前記第二の視覚的特徴量と、前記第二の物理的特徴量とから、前記第一のオブジェクトと、前記第二のオブジェクトが同一か否かを判定する判定部と、
を備え、
前記判定部は、
前記学習済みの機械学習モデルの入力として、前記第一の視覚的特徴量と前記第一の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、前記学習済みの機械学習モデルの入力として、前記第二の視覚的特徴量と前記第二の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記第一の特徴量ベクトルと前記第二の特徴量ベクトルとの類似度を算出する類似度算出部と、
前記類似度算出部が算出した前記類似度に基づいて、前記第一の画像データに現れる前記第一のオブジェクトと、前記第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定する類似度判定部と、
を備えることを特徴とする画像処理システム。
【請求項８】
第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得工程と、
前記第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、前記第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得工程と、
学習済みの機械学習モデルを用いて、前記第一の視覚的特徴量と、前記第一の物理的特徴量と、前記第二の視覚的特徴量と、前記第二の物理的特徴量とから、前記第一のオブジェクトと前記第二のオブジェクトが同一か否かを判定する判定工程と、
を含み、
前記判定工程は、
前記学習済みの機械学習モデルの入力として、前記第一の視覚的特徴量と前記第一の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、前記学習済みの機械学習モデルの入力として、前記第二の視覚的特徴量と前記第二の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記第一の特徴量ベクトルと前記第二の特徴量ベクトルとの類似度を算出する類似度算出工程と、
前記類似度算出工程で算出した前記類似度に基づいて、前記第一の画像データに現れる前記第一のオブジェクトと、前記第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定する類似度判定工程と、
を含むことを特徴とする画像処理方法。
【請求項９】
第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得工程と、
前記第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、前記第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得工程と、
学習済みの機械学習モデルを用いて、前記第一の視覚的特徴量と、前記第一の物理的特徴量と、前記第二の視覚的特徴量と、前記第二の物理的特徴量とから、前記第一のオブジェクトと前記第二のオブジェクトが同一か否かを判定する判定工程と、
をコンピュータに実行させる画像処理プログラムであって、
前記判定工程は、
前記学習済みの機械学習モデルの入力として、前記第一の視覚的特徴量と前記第一の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、前記学習済みの機械学習モデルの入力として、前記第二の視覚的特徴量と前記第二の物理的特徴量とを入力し、前記学習済みの機械学習モデルの出力として、前記第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記第一の特徴量ベクトルと前記第二の特徴量ベクトルとの類似度を算出する類似度算出工程と、
前記類似度算出工程で算出した前記類似度に基づいて、前記第一の画像データに現れる前記第一のオブジェクトと、前記第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定する類似度判定工程と、
を含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
複数のカメラにまたがって撮影されたオブジェクトが、同一のオブジェクトであるか否かを推定する技術が提案されつつある。
例えば、非特許文献１では、人物画像からニューラルネットワークを用いて特徴抽出を行い、ニューラルネットワークが生成した特徴量ベクトルを使って、人物画像のペアが同一人物であるか否かを推定する技術について記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｅ．  Ａｈｍｅｄ，  Ｍ．  Ｊｏｎｅｓ，  Ｔ．Ｋ．  Ｍａｒｋｓ，  “Ａｎ  ｉｍｐｒｏｖｅｄ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，”  Ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  ２０１５．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、画像からオブジェクトの視覚的な特徴を抽出し、オブジェクトの大きさは考慮していない特徴量ベクトルが、オブジェクトの比較に使われていた。そのため、大きさが異なる人物でも、服の色などが同じで見かけが似ている場合には同一人物と判定されてしまう可能性があるという問題があった。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、複数の画像に写ったオブジェクトが同一であるか否かを判定する際に、実際の大きさが異なるオブジェクトを同一のオブジェクトであると誤判定してしまう可能性を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得部と、第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得部と、学習済みの機械学習モデルを用いて、第一の視覚的特徴量と、第一の物理的特徴量と、第二の視覚的特徴量と、第二の物理的特徴量とから、第一のオブジェクトと第二のオブジェクトが同一のオブジェクトであるか否かを判定する判定部と、を備え、判定部は、学習済みの機械学習モデルの入力として、第一の視覚的特徴量と第一の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、学習済みの機械学習モデルの入力として、第二の視覚的特徴量と第二の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得部と、第一の特徴量ベクトルと第二の特徴量ベクトルとの類似度を算出する類似度算出部と、類似度算出部が算出した類似度に基づいて、第一の画像データに現れる第一のオブジェクトと、第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定する類似度判定部と、を備えた。
【発明の効果】
【０００７】
本発明に係る画像処理装置によれば、学習済みの機械学習モデルを用いて、第一の視覚的特徴量と、第一の物理的特徴量と、第二の視覚的特徴量と、第二の物理的特徴量から、第一のオブジェクトと第二のオブジェクトが同一のオブジェクトであるか否かを判定する判定部を備えたので、視覚的特徴量だけでなく、オブジェクトの物理的特徴量を用いることにより、複数の画像データに現れるオブジェクトが同一であるか否かを判定する際に、実際の大きさが異なるオブジェクトを同一のオブジェクトであると誤判定してしまう可能性を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における画像処理装置１００、及び画像処理システム１０００の構成を示す構成図である。
【図２】実施の形態１におけるオブジェクト検出部３１の処理の具体例を示す説明図である。
【図３】実施の形態１におけるオブジェクト検出部３１の処理、及びオブジェクト追跡部３４の処理の具体例を示す説明図である。
【図４】実施の形態１における視覚的特徴量抽出部３２が視覚的特徴量を抽出する処理の具体例を示す説明図である。
【図５】実施の形態１における特徴量ベクトル取得部８４１が特徴量ベクトルを取得する処理の具体例を示す説明図である。
【図６】実施の形態１における画像処理装置１００を実現するコンピュータのハードウェア構成の例を示す構成図である。
【図７】実施の形態１における画像処理装置１００の画像記憶処理を示すフローチャートである。
【図８】実施の形態１における画像処理装置１００の画像照合処理の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１における画像処理装置１００、及び画像処理システム１０００の構成を示す構成図である。
図１に示すように、画像処理システム１０００は、ｎ台（ｎは１以上の整数）のネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎと、これらネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎの各々から配信された静止画像データまたは動画像ストリームを、通信ネットワークＮＷを介して受信する画像処理装置１００とで構成される。画像処理装置１００は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから受信した静止画像データまたは動画像データ（以下、総じて画像データと記載する）に対して画像解析を行う。画像処理装置１００は、画像解析の結果を示す空間的、地理的または時間的記述子を、画像と関連付けて蓄積する。
ここで、空間的記述子とは画像内のオブジェクトの位置やサイズ等を示すものであり、地理的記述子とは画像を撮像したネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎの位置等を示すものであり、時間的記述子とは画像の撮像時刻等を示すものである。
【００１０】
通信ネットワークＮＷとしては、例えば、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網が挙げられる。
【００１１】
ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎは全て同一の構成を有している。各ネットワークカメラＮＣは、被写体を撮像する撮像部（図示せず）と、撮像部の出力を通信ネットワークＮＷ上の画像処理装置１００に向けて送信する送信部（図示せず）とで構成される。撮像部は、被写体の光学像を形成する撮像光学系と、形成された光学像を電気信号に変換する固体撮像素子と、変換された電気信号を静止画像データまたは動画像データとして圧縮符号化するエンコーダ回路とを有している。固体撮像素子としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を使用すればよい。
【００１２】
ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎの各々は、固体撮像素子の出力を動画像データとして圧縮符号化する場合には、例えば、ＭＰＥＧ−２  ＴＳ（Ｍｏｖｉｎｇ  ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）、ＲＴＰ／ＲＴＳＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）、ＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）またはＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）のストリーミング方式に従い、圧縮符号化された動画像ストリームを生成する。なお、実施の形態１で使用されるストリーミング方式は、ＭＰＥＧ−２  ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴまたはＤＡＳＨに限定されるものではない。ただし、いずれのストリーミング方式でも、動画像ストリームに含まれる動画像データを画像処理装置１００で一意に分離できる識別子情報が、当該動画像ストリーム内
に多重化されているものとする。
【００１３】
実施の形態１において、ネットワークカメラＮＣ１は第一のオブジェクトを撮像し、第一のオブジェクトが現れる第一の画像データを出力する。また、ネットワークカメラＮＣ２は第二のオブジェクトを撮像し、第二のオブジェクトが現れる第二の画像データを出力する。ここで、ネットワークカメラＮＣ１が第一のネットワークカメラであり、ネットワークカメラＮＣ２が第二のネットワークカメラである。また、第一のオブジェクトと第二のオブジェクトは、同一のオブジェクトである場合と、異なるオブジェクトである場合の両方を含む。
【００１４】
画像処理装置１００は、受信部１、復号部２、画像認識部３、記述子生成部４、データ記録制御部５、記憶部６、インターフェース部７、及び画像照合部８を備える。
【００１５】
受信部１は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから配信データを受信し、受信した配信データから画像データを分離するものである。ここで、配信データには、画像データの他、音声データやメタデータ等が含まれ、画像データには、静止画像データまたは動画像ストリームが含まれる。受信部１は、分離した画像データを復号部２に出力する。
【００１６】
復号部２は、受信部１から入力された、圧縮符号化された画像データを、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎで使用された圧縮符号化方式に従って復号するものである。復号部２は、復号した画像データを画像認識部３に出力する。また、入力された画像データが圧縮符号化されていない場合には、復号部２は省略可能である。
【００１７】
画像認識部３は、復号部２から入力された画像データに対して画像認識処理を行う。画像認識部３は、オブジェクト検出部３１、視覚的特徴量抽出部３２、物理的特徴量推定部３３、及びオブジェクト追跡部３４を備える。
【００１８】
オブジェクト検出部３１は、復号部２から入力された画像データを解析して、当該画像データに現れるオブジェクトを検出するものである。オブジェクトの検出には、例えば、線形分類器やＲ−ＣＮＮ（ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ  ｆｅａｔｕｒｅｓ）を用いることができる。また、オブジェクト検出部３１は、画像データが示す画像内においてオブジェクトを検出した領域を示すデータを検出領域データとして出力する。ここで、オブジェクトを検出する領域は、図２で示されるように、画像の一部においてオブジェクトを囲むように所定のサイズで設定される。図２は、オブジェクト検出部３１の処理の具体例を示す説明図である。また、検出領域データは、元の画像データの一部であって、画像データの一種とする。
実施の形態１において、オブジェクト検出部３１は、第一のオブジェクトが現れる第一の画像データから第一のオブジェクトを検出し、第一の画像データが示す画像内において第一のオブジェクトを検出した領域を第一の検出領域データとして出力するとともに、第二のオブジェクトが現れる第二の画像データから第二のオブジェクトを検出し、第二の画像データが示す画像内において第二のオブジェクトを検出した領域を第二の検出領域データとして出力する。オブジェクト検出部３１は、第一の画像データに対する処理と、第二の画像データに対する処理のどちらを先に行っても良いし、あるいは同時に行っても良い。
【００１９】
オブジェクト検出部３１は、検出されたオブジェクトの数、各オブジェクトの位置情報、各オブジェクトの種別、および各オブジェクトの撮像時刻等をオブジェクトの検出結果として取得する。
実施の形態１において、オブジェクト検出部３１は、図２で示されるように、オブジェクトを矩形領域で検出する。すなわち、上記のオブジェクトを検出する領域は実施の形態１において、矩形で設定される。図２において、オブジェクト検出部３１は、画像データが示す画像Ｇ１において、オブジェクトＰ１とオブジェクトＰ２をそれぞれ、矩形領域ＲＰ１と矩形領域ＲＰ２で検出する。
【００２０】
図３は、実施の形態１におけるオブジェクト検出部３１の処理、及びオブジェクト追跡部３４の処理の具体例を示す説明図である。図３では、画像処理装置１００が、領域Ｘ１および領域Ｘ２をそれぞれ撮像する２つのネットワークカメラＮＣ１，ＮＣ２から配信データを受信した場合について示している。また、図３は、配信データ間で、オブジェクトＡで示された人物、オブジェクトＢで示された人物、およびオブジェクトＣで示された人物の動きを後述するオブジェクト追跡部３４が追跡した結果を示している。オブジェクト検出部３１は、復号されたネットワークカメラＮＣ１の画像データから、オブジェクトＡａを検出する。ここで、時刻ａにおけるオブジェクトＡをオブジェクトＡａと示す。オブジェクトＡｂ〜Ａｅ、またオブジェクトＢおよびオブジェクトＣについても同様である。  オブジェクト検出部３１はネットワークカメラＮＣ１の次の画像データからオブジェクトＡｂを検出する。続けて、オブジェクト検出部３１はネットワークカメラＮＣ１の次の画像データからオブジェクトＡｃを検出する。オブジェクト検出部３１は、上述した検出処理を連続して行い、オブジェクトＡａからオブジェクトＡｅを検出する。同様に、オブジェクト検出部３１は、復号されたネットワークカメラＮＣ２の各画像データから、オブジェクトＢａからオブジェクトＢｅおよびオブジェクトＣａからオブジェクトＣｅを検出する。オブジェクト検出部３１は、検出した全てのオブジェクト（Ａａ〜Ａｅ，Ｂａ〜Ｂｅ，Ｃａ〜Ｃｅ）の位置情報および撮像時刻等を取得する。
【００２１】
視覚的特徴量抽出部３２は、画像データからオブジェクトの視覚的特徴量を抽出するものである。ここで、オブジェクトの視覚的特徴量とは、オブジェクトの色、オブジェクトのテクスチャ、オブジェクトの形状等の画像の画素値から抽出される特徴量であり、すなわち、人が視覚的に認識できる特徴を示す特徴量である。これに対して、物理的特徴量は、オブジェクトの物理的な特徴を示すものであり、画像上でそのオブジェクトのみを視認するだけでは抽出できない特徴量である。例えば、後述する物理的特徴量推定部３３が行うように、物理的特徴量は、画像上の位置等の情報を用いて推定する必要がある。視覚的特徴量の抽出には、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等の学習済みの機械学習モデルを用いることができる。実施の形態１において、視覚的特徴量抽出部３２は、オブジェクト検出部３１がオブジェクトを検出した矩形領域におけるオブジェクトの視覚的特徴量を抽出する。
実施の形態１において、視覚的特徴量抽出部３２は、第一の画像データから第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量を抽出し、第二の画像データから第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量を抽出する。より具体的には、視覚的特徴量抽出部３２は、第一の検出領域データが入力されると、第一の検出領域データをリサイズし、第一のリサイズデータを生成する。そして、第一のリサイズデータをＣＮＮに入力することにより、第一のオブジェクトの視覚的特徴量を抽出する。同様に、視覚的特徴量抽出部３２は、第二の検出領域データが入力されると、第二の検出領域データをリサイズし、第二のリサイズデータを生成する。そして、第二のリサイズデータをＣＮＮに入力することにより、第二のオブジェクトの視覚的特徴量を抽出する。ここで、視覚的特徴量抽出部３２は、第一の視覚的特徴量の抽出と、第二の視覚的特徴量の抽出のどちらを先に行っても良いし、あるいは同時に行っても良い。
【００２２】
視覚的特徴量抽出部３２の処理の具体例について、図４を参照しながら説明する。図４は、実施の形態１における視覚的特徴量抽出部３２がオブジェクトの視覚的特徴量を抽出する処理の具体例を示す説明図である。
視覚的特徴量抽出部３２は、矩形領域ＲＰ３を所定のサイズにリサイズしたリサイズデータＲＲＰ３をＣＮＮに入力し、かつ、矩形領域ＲＰ４をリサイズデータＲＲＰ３と同じ所定のサイズにリサイズしたリサイズデータＲＲＰ４をＣＮＮに入力する。その結果、視覚的特徴量抽出部３２は、オブジェクトＰ３の矩形領域ＲＰ３における視覚的特徴量である視覚的特徴量ＶＰ３と、オブジェクトＰ４の矩形領域ＲＰ４における視覚的特徴量である視覚的特徴量ＶＰ４を抽出することができる。ここで、画像データのリサイズは、複数の画像データから抽出されるそれぞれの視覚的特徴量の次元数を揃えるために必要となる。また、上記したリサイズデータの所定のサイズは、ＣＮＮの設計段階において、ＣＮＮの設計者により決定される。
しかしながら、画像データのリサイズを行ったために、視覚的特徴量ＶＰ３及び視覚的特徴量ＶＰ４は、オブジェクトの視覚的特徴量を示してはいるものの、オブジェクトの大きさや矩形領域の大きさに関する情報は失われている。そのため、視覚的特徴量ＶＰ３と視覚的特徴量ＶＰ４を比較するだけだと、身長等の物理的特徴量が異なっていても、オブジェクトＰ２とオブジェクトＰ４が同一のオブジェクトとして判定される可能性がある。このような可能性を低減するために、実施の形態１における画像処理装置１００が備える判定部８４は、後述するように、視覚的特徴量だけでなく、物理的特徴量も考慮して、二つのオブジェクトが同一か否かを判定するようにしている。
【００２３】
物理的特徴量推定部３３は、画像データからオブジェクトの物理的特徴量を推定するものである。実施の形態１において、物理的特徴量推定部３３は、オブジェクト検出部３１がオブジェクトを検出した画像内の位置と矩形領域の大きさとに基づいて、オブジェクトの物理的特徴量を推定する。物理的特徴量とは、オブジェクトの物理的な特徴を示す特徴量であり、例えば、オブジェクトの高さ、幅、厚み等である。また、物理的特徴量としては、上記の一次元量、すなわち物理寸法だけでなく、面積や体積等のより高次元な量も含む。
【００２４】
以下で物理的特徴量推定部３３がオブジェクトの物理的特徴量を推定する方法の具体例を示す。
オブジェクトは、ネットワークカメラＮＣからオブジェクトまでの距離に応じて、画像内でのサイズが異なる。そこで、ネットワークカメラＮＣを設置後、一定期間の画像を収集し、オブジェクト検出部で検出されたオブジェクトの種別ごとに、画像内での大きさ（矩形領域の大きさ）と画像内での位置をデータとして収集し、記憶部６に記憶させる。そして、オブジェクトの種別、画像内での大きさ、及び画像内での位置に対するオブジェクトの物理的特徴量を外部機器２００等により設定し、オブジェクトの種別、画像内での大きさ、及び画像内での位置と、オブジェクトの物理的特徴量との対応関係を示す対応情報を予め生成しておく。十分な期間のデータを収集し、対応情報を生成することができれば、この対応情報を用いてオブジェクトの物理的特徴量を推定することができる。
【００２５】
また、対応情報を作る段階において、オブジェクトの物理的特徴量があまり正確に分からない場合や、オブジェクトの検出精度が低く矩形領域の大きさにばらつきがある場合には、矩形領域の大きさとオブジェクトの物理的特徴量を一対一に対応付けるのではなく、オブジェクトの物理的特徴量を多段階分類し、推定するようにしてもよい。例えば、三段階に分類する場合では、オブジェクトの種別ごとに物理的特徴量の最大値、平均値、最小値を設定するとともに、矩形領域の大きさに対して第一閾値と第二閾値を設定し、矩形領域の大きさが第一閾値以上の場合は、オブジェクトの物理的特徴量は最大値であると推定し、矩形領域の大きさが第二閾値以上第一閾値未満の場合には、オブジェクトの物理的特徴量は平均値であると推定し、矩形領域の大きさが第二閾値未満の場合には、オブジェクトの物理的特徴量は最小値であると推定するようにすればよい。
【００２６】
実施の形態１において、物理的特徴量推定部３３は、オブジェクト検出部３１から第一の検出領域データが入力され、第一の検出領域データから第一のオブジェクトの物理的特徴量である第一の物理的特徴量を推定するとともに、オブジェクト検出部３１から第二の検出領域データが入力され、第二の検出領域データから第二のオブジェクトの物理的特徴量である第二の物理的特徴量を推定する。ここで、物理的特徴量推定部３３は、第一の物理的特徴量の推定と、第二の物理的特徴量の推定のどちらを先に行っても良いし、あるいは同時に行っても良い。
【００２７】
オブジェクト追跡部３４は、オブジェクト検出部３１で検出されたオブジェクトを時間方向に追跡するものである。実施の形態１において、オブジェクト追跡部３４は、第一のオブジェクトと第二のオブジェクトの追跡を行う。オブジェクト追跡部３４は、オブジェクトの時間方向への追跡を行う際、オブジェクト検出部３１で検出されたオブジェクトの検出結果を、１つの画像データ内、および時間的に連続する複数の画像データ間で比較して追跡を行う。例えば、追跡対象のオブジェクトが人物の場合、一台のネットワークカメラＮＣで撮影された同一人物を追跡する。上記の画像データ内及び画像データ間での比較において、例えば、物理的特徴量推定部３３で推定された物理的特徴量や視覚的特徴量抽出部３２で抽出された視覚的特徴量を用いて追跡することができる。あるいは、後述する画像照合部８の処理を行うことにより、前フレームと現フレームのオブジェクトが同一か判定し、追跡するようにしてもよい。また、オブジェクト追跡部３４は、オブジェクトの追跡結果であるオブジェクトの動き情報（オプティカルフロー）を記述子生成部３５に出力する。
【００２８】
図３に追跡対象のオブジェクトが人物の場合の具体例を示す。
オブジェクト追跡部３４は、領域Ｘ１を撮像したネットワークカメラＮＣ１により得られた複数の画像データにおいて、同一の特徴を有するオブジェクトＡ（Ａａ〜Ａｅ）を追跡する。同様に、オブジェクト追跡部３４は、領域Ｘ２を撮像したネットワークカメラＮＣ２により得られた複数の画像データにおいて、それぞれ同一の特徴を有するオブジェクトＢ（Ｂａ〜Ｂｅ）、及びオブジェクトＣ（Ｃａ〜Ｃｅ）を追跡する。オブジェクト追跡部３４は、オブジェクトＡ，Ｂ，Ｃの動き情報として、例えばオブジェクトＡが領域Ｘ１を撮像した画像データ内に出現していた時間、オブジェクトＢ，Ｃが領域Ｘ２を撮像した画像データ内に出現していた時間、オブジェクトＡ，Ｂ，Ｃの移動軌跡を示す情報を記述子生成部３５に出力する。
【００２９】
記述子生成部４は、所定のフォーマットに従い、画像データに関連したオブジェクトの特徴を示す特徴記述子を生成する。実施の形態１において、記述子生成部４は、オブジェクト検出部３１が取得したオブジェクトの検出結果、物理的特徴量推定部３３が推定したオブジェクトの物理的特徴量、視覚的特徴量抽出部３２が抽出したオブジェクトの視覚的特徴量、及びオブジェクト追跡部３４が出力したオブジェクトの動き情報を含む特徴記述子を生成する。また、特徴記述子には、時間方向に追跡された同一のオブジェクトであることを示す識別子（ＩＤ）が含まれる。
実施の形態１において、記述子生成部４は、第一のオブジェクトの第一の画像データにおける特徴を示す特徴記述子である第一の特徴記述子と、第二のオブジェクトの第二の画像データにおける特徴を示す特徴記述子である第二の特徴記述子とを生成する。
【００３０】
データ記録制御部５は、復号部２から入力された復号された画像データと、記述子生成部４から入力された特徴記述子とを対応付けて記憶部６に格納することにより、データベースを構築する。ここで、一つの画像データに複数のオブジェクトが現れる場合には、特徴記述子は、オブジェクト毎に生成し、一つの画像データに複数の特徴記述子を対応付けるようにしてもよいし、複数のオブジェクトの特徴記述子を一つの特徴記述子としてまとめて、一つの画像データに一つの特徴記述子を対応付けるようにしてもよい。また、実施の形態１においては、復号部２から入力された画像データを特徴記述子と対応付けて記憶するようにしたが、オブジェクト検出部３１が生成したオブジェクトの検出領域データを特徴記述子と対応付けて記憶するようにしてもよい。
実施の形態１において、データ記録制御部５は、第一の画像データと第一の特徴記述子とを対応付けて記憶部６に格納するとともに、第二の画像データと第二の特徴記述子とを対応付けて記憶部６に格納する。データ記録制御部５は、第一の画像データ及び第一の特徴記述子の格納と、第二の画像データ及び第二の特徴記述子の格納はどちらを先に行っても良いし、同時に行っても良い。
【００３１】
データ記録制御部５は、画像データと、特徴記述子とを、双方向に高速にアクセスすることができる形式で、記憶部６に格納するのが望ましい。また、データ記録制御部５は、画像データと特徴記述子との対応関係を示すインデックステーブルを作成してデータベースを構築してもよい。例えば、データ記録制御部５は、画像データを構成する特定の画像フレームのデータ位置が与えられた場合、当該データ位置に対応する特徴記述子の記憶部６上の格納位置を高速に特定可能なように、インデックス情報を付加する。また、データ記録制御部５は、記憶部６上の格納位置に対応するデータ位置を高速に特定可能なようにインデックス情報を付加してもよい。
【００３２】
記憶部６は、各種情報を記憶するものであり、後述するようにハードディスク等の記憶装置１０００１により構成される。実施の形態１において、記憶部６は、画像データと特徴記述子とを対応付けて記憶する。また、実施の形態１において、記憶部６は、後述する判定部８４が用いる学習済みの機械学習モデルを記憶する。
実施の形態１において、記憶部６は、第一の画像データと第一の特徴記述子とを対応付けて記憶し、第二の画像データと第二の特徴記述子とを対応付けて記憶する。この第一の特徴記述子は、第一のオブジェクトの第一の画像データにおける視覚的特徴量である第一の視覚的特徴量と、第一のオブジェクトの物理的特徴量である第一の物理的特徴量とを含み、第二の特徴記述子は、第二のオブジェクトの第二の画像データにおける視覚的特徴量である第二の視覚的特徴量と、第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを含む。すなわち、実施の形態１における記憶部６は、第一の視覚的特徴量と第一の物理的特徴量とを含む第一の特徴記述子と、第二の視覚的特徴量と第二の物理的特徴量とを含む第二の特徴記述子とを記憶する。
また、実施の形態１においては、記憶部６が画像データ及び特徴記述子を記憶する構成を示したが、当該構成に限定されるものではない。記憶部６に替えて、通信ネットワークＮＷ上に配置された単数または複数のネットワークストレージ装置（図示せず）が画像データ及び特徴記述子を記憶し、当該ネットワークストレージ装置にデータ記録制御部５がアクセスするように構成してもよい。これにより、データ記録制御部５が画像データと特徴記述子とを、外部のネットワークストレージ装置に蓄積し、画像処理装置１００の外部にデータベースを構築することができる。また、判定部８４が用いる学習済みの機械学習モデルも記憶部６ではなく、外部のネットワークストレージ装置に記憶するようにしてもよい。
【００３３】
インターフェース部７は、外部機器２００と画像処理装置の各部を接続して、交信や外部機器２００による各種制御を可能にするものである。
外部機器２００は、インターフェース部７を介して、記憶部６内のデータベースや画像取得部８１にアクセスするものである。画像処理装置１００のユーザーは、外部機器２００を用いて、後述する画像取得部８１が画像を検索する検索条件を設定したり、記憶部６に画像データ等を追加したりすることができる。
【００３４】
画像照合部８は、複数の画像データに現れるオブジェクトの照合を行うものであり、実施の形態１において、画像照合部８は、第一の画像データに現れる第一のオブジェクトと、第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを照合し判定する。また、実施の形態１において、画像照合部８は、画像取得部８１、視覚的特徴量取得部８２、物理的特徴量取得部８３、及び判定部８４を備える。
画像照合部８は、インターフェース部７を介して、外部機器２００から検索条件が設定されると、処理を開始する。ここで、検索条件とは、検索対象とするエリア情報、検索対象とする時刻情報、検索対象とするオブジェクトの種類や特徴等である。検索条件の具体例として、例えば、あるネットワークカメラＮＣ内で同一のオブジェクトとして追跡された時間が一定時間超えたオブジェクトを検索することを指示する条件、またはネットワークカメラＮＣ内で予め設定されたエリア（例えば、進入禁止エリア）に該当する位置情報を有するオブジェクトを検出することを指示する条件が挙げられる。また、画像照合部８は、検索条件として画像データを入力し、当該画像データに現れるオブジェクトと同じ特徴、例えば視覚的特徴量等、を有するオブジェクトを検索するようにしてもよい。
【００３５】
画像取得部８１は、照合する複数の画像データと当該画像データに対応付けられた特徴記述子を取得するものである。実施の形態１において、画像取得部８１は、第一のオブジェクトが現れる第一の画像データ、第二のオブジェクトが現れる第二の画像データ、第一の画像データに対応付けられた第一の特徴記述子、及び第二の画像データに対応付けられた第二の特徴記述子を取得する。
【００３６】
実施の形態１において、画像取得部８１は、外部機器２００により設定された検索条件に合致するオブジェクトを記憶部６から検索し、当該オブジェクトが現れる画像データを取得する。
画像取得部８１は、記憶部６を検索することにより画像データを取得する場合、画像データあるいは特徴記述子に含まれる位置情報や撮影時刻情報に基づいて、検索対象を絞るようにしてもよい。例えば、図３において、オブジェクトＡと同一のオブジェクトを検索したい場合、ネットワークカメラＮＣ１がオブジェクトＡ（Ａａ〜Ａｅ）を撮像した時刻と、ネットワークカメラＮＣ２がオブジェクトＢ（Ｂａ〜Ｂｅ）を撮像した時刻が同時刻であるならば、オブジェクトＡとオブジェクトＢは同一でないと判断できるので、検索対象から除外することができる。これに対して、ネットワークカメラＮＣ１がオブジェクトＡ（Ａａ〜Ａｅ）を撮像した時刻の少し後に、オブジェクトＣがネットワークカメラＮＣ２で撮像されている場合、オブジェクトＣは領域Ｘ１から領域Ｘ２に歩いてきたオブジェクトＡである可能性がある、すなわち、オブジェクトＡとオブジェクトＣとは同一のオブジェクトである可能性があるので、検索対象から除外しない。上記の処理を行うことにより、検索量を減らすことができる。
【００３７】
視覚的特徴量取得部８２は、入力された画像データに現れるオブジェクトの視覚的特徴量を取得するものである。実施の形態１において、視覚的特徴量取得部８２は、第一の画像データにおける第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データにおける第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する。
また、実施の形態１において、視覚的特徴量取得部８２は、画像データに対応付けられた特徴記述子から視覚的特徴量を取得する。すなわち、第一の画像データに対応付けられた第一の特徴記述子に含まれる第一の視覚的特徴量を取得し、第二の画像データに対応付けられた第二の特徴記述子に含まれる第二の視覚的特徴量を取得する。また、実施の形態１において、特徴記述子が含む視覚的特徴量は、視覚的特徴量抽出部３２が抽出した視覚的特徴量であるため、実施の形態１における視覚的特徴量取得部８２は、視覚的特徴量抽出部３２が第一の検出領域データから抽出した第一の視覚的特徴量を取得し、視覚的特徴量抽出部３２が第二の検出領域データから抽出した第二の視覚的特徴量を取得するものでもある。
【００３８】
上記において、視覚的特徴量取得部８２は、特徴記述子から視覚的特徴量を取得するものとしたが、画像データに現れるオブジェクトの視覚的特徴量を取得できれば、この構成に限らない。例えば、視覚的特徴量取得部８２は、画像データを画像認識部３に入力し、オブジェクト検出部３１及び視覚的特徴量抽出部３２の処理を行うことにより、オブジェクトの視覚的特徴量を取得するようにしてもよい。また、オブジェクトを検出した矩形領域の情報が特徴記述子に含まれる場合には、オブジェクト検出部３１の処理は省略し、視覚的特徴量抽出部３２の処理のみ行えばよい。実施の形態１においては、記憶部６が画像データと対応付けて記憶する特徴記述子は、視覚的特徴量を含むようにしたが、記憶部６に記憶するデータ量削減等の理由により、特徴記述子に視覚的特徴量が含まれない場合や、検索条件として外部機器２００から特徴記述子が対応付けられていない画像データが入力された場合には、上記の方法を用いることにより、オブジェクトの視覚的特徴量を取得することができる。
【００３９】
物理的特徴量取得部８３は、入力された画像データに現れるオブジェクトの物理的特徴量を取得するものである。実施の形態１において、物理的特徴量取得部８３は、第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する。
また、実施の形態１において、物理的特徴量取得部８３は、画像データに対応付けられた特徴記述子から物理的特徴量を取得する、すなわち、第一の画像データに対応付けられた第一の特徴記述子に含まれる第一の物理的特徴量を取得し、第二の画像データに対応付けられた第二の特徴記述子に含まれる第二の物理的特徴量を取得する。また、実施の形態１において、特徴記述子が含む物理的特徴量は、物理的特徴量推定部３３が推定した物理的特徴量であるため、実施の形態１における物理的特徴量取得部８３は、物理的特徴量推定部３３が第一の検出領域データから推定した第一の物理的特徴量を取得し、物理的特徴量推定部３３が第二の検出領域データから推定した第二の物理的特徴量を取得するものでもある。
【００４０】
上記において、物理的特徴量取得部８３は、特徴記述子から物理的特徴量を取得するものとしたが、視覚的特徴量取得部８２と同様に、画像データに現れるオブジェクトの物理的特徴量を取得できれば、この構成に限らない。例えば、物理的特徴量取得部８３は、画像データを画像認識部３に入力し、オブジェクト検出部３１及び物理的特徴量推定部３３の処理を行うことにより、オブジェクトの物理的特徴量を取得するようにしてもよい。また、オブジェクトを検出した矩形領域の情報が特徴記述子に含まれる場合には、オブジェクト検出部３１の処理は省略し、物理的特徴量推定部３３の処理のみ行えばよい。実施の形態１においては、記憶部６が画像データと対応付けて記憶する特徴記述子は、物理的特徴量を含むようにしたが、記憶部６に記憶するデータ量削減等の理由により、特徴記述子に物理的特徴量が含まれない場合や、検索条件として外部機器２００から特徴記述子が対応付けられていない画像データが入力された場合には、上記の方法を用いることにより、オブジェクトの物理的特徴量を取得することができる。また、検索条件として画像データが入力された場合において、当該画像データに写ったオブジェクトの物理的特徴量が既知の場合には、当該物理的特徴量を画像処理装置１００のユーザーが外部機器２００から入力することにより直接取得するようにしてもよい。
【００４１】
判定部８４は、入力された複数の画像データに現れるオブジェクトが同一か否かを、学習済みの機械学習モデルを用いて、判定するものである。ここで、判定部８４が用いる学習済みの機械学習モデルは、視覚的特徴量抽出部３２が用いる学習済みの機械学習モデルとは別のものである。実施の形態１において、判定部８４は、学習済みの機械学習モデルを用いて、第一の視覚的特徴量と、第一の物理的特徴量と、第二の視覚的特徴量と、第二の物理的特徴量から、第一の画像データに現れる第一のオブジェクトと、第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであるか否かを判定するものである。ここで、判定部８４は、第一の視覚的特徴量と第一の物理的特徴量とを第一のオブジェクトに関する入力としており、第二の視覚的特徴量と第二の物理的特徴量とを第二のオブジェクトに関する入力としている。
実施の形態１において、判定部８４は、特徴量ベクトル取得部８４１、類似度算出部８４２、及び類似度判定部８４３を備える。
【００４２】
特徴量ベクトル取得部８４１は、学習済みの機械学習モデルの入力として、オブジェクトの視覚的特徴量と、オブジェクトの物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、オブジェクトの特徴量ベクトルを出力させることにより、当該特徴量ベクトルを取得するものである。ここで、特徴量ベクトルとはオブジェクトの特徴を示すベクトルである。実施の形態１において、特徴量ベクトル取得部８４１は、学習済みの機械学習モデルの入力として、第一の視覚的特徴量と第一の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、学習済みの機械学習モデルの入力として、第二の視覚的特徴量と第二の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する。
【００４３】
実施の形態１において、特徴量ベクトル取得部８４１は、特徴記述子に含まれるオブジェクトの視覚的特徴量、すなわち画像データからＣＮＮにより得られた視覚的特徴量と、特徴記述子に含まれるオブジェクトの物理的特徴量、すなわちオブジェクトが検出された矩形領域から推定された物理的特徴量とを入力として用いる。また、実施の形態１において、学習済みの機械学習モデルは、全結合型のニューラルネットであって、距離学習により学習したものとする。ここで、距離学習とは、出力される２つのベクトルに対して距離を定義し、２つのベクトル間の距離が近ければ同一のオブジェクト、遠ければ異なるオブジェクトとなるように学習するものである。上記において、距離を定義すると述べたが、距離の公理を満たさない類似度、例えば、コサイン類似度等を２つのベクトルの近さの尺度として用いるようにしてもよい。以下では、２つのベクトルの近さの尺度を、距離もコサイン類似度等の他の尺度も、まとめて類似度と呼ぶこととする。また、実施の形態１においては、類似度として、ユークリッド距離を用いる。すなわち、第一のオブジェクトの特徴を表す第一の特徴量ベクトルと第二のオブジェクトの特徴を表す第二の特徴量ベクトルのユークリッド距離が小さい場合には、第一のオブジェクトと第二のオブジェクトとは同一の可能性が高く、ユークリッド距離が大きい場合には、第一のオブジェクトと第二のオブジェクトとは異なる可能性が高いと判断できる。
【００４４】
学習時の教師データについては、物理的特徴量が既知のオブジェクトが現れる画像データを用意すればよい。また、当然ながら、学習時の教師データについては、ある画像データに現れるオブジェクトが別の画像データに現れるオブジェクトと同一であるか否かも既知なものとする。画像データから視覚的特徴量抽出部３２を用いて視覚的特徴量の抽出を行い、抽出された視覚的特徴量と既知の物理的特徴量を学習させたい機械学習モデルに入力し、同一のオブジェクトのベクトルは近くに位置するように、異なるオブジェクトのベクトルは遠くに位置するように学習させる。学習方法としては、Ｓｉａｍｅｓｅ  ＮｅｔやＴｒｉｐｌｅｔ  Ｌｏｓｓ等を用いればよい。また、上記においては、教師データとして画像データを用意したが、学習に必要なものは視覚的特徴量と物理的特徴量であるため、あるオブジェクトに関する視覚的特徴量と物理的特徴量を用意できれば、画像データそのものはなくてもよい。
【００４５】
実施の形態１において、類似度としてユークリッド距離を採用したので、学習済みの機械学習モデルは、同一オブジェクト間の特徴量ベクトルの類似度は小さくなるように重みパラメータを学習し、異なるオブジェクト間の特徴量ベクトルの類似度は大きくなるように重みパラメータが学習されている。すなわち、特徴量ベクトル取得部８４１が取得する特徴量ベクトルは、異なる画像であっても同一のオブジェクトから取得された特徴量ベクトル同士では、類似度が小さくなり、異なるオブジェクトから取得された特徴量ベクトル同士では、類似度が大きくなるようにオブジェクトの特徴が表現されたベクトルである。上記において、距離学習の対象は全結合ニューラルネットとしたが、全結合ニューラルネットと視覚的特徴量を抽出するＣＮＮとをまとめて距離学習を行うようにしてもよい。
また、判定部８４が用いる学習済みの機械学習モデルは、全結合型のニューラルネットであって、距離学習により学習したものとしたが、オブジェクトが同一か否かの判定を行うことができる構成であればこれに限らず、ロジスティック回帰等を用いる構成であってもよい。
【００４６】
図５は、特徴量ベクトル取得部８４１が特徴量ベクトルを取得する処理の具体例を示す説明図である。特徴量ベクトル取得部８４１は、視覚的特徴量Ｉ１と物理的特徴量Ｉ２を学習済みの機械学習モデルＭ１に入力し、学習済みの機械学習モデルＭ１は特徴量ベクトルＶ１を出力する。また、図５は、視覚的特徴量抽出部３２が、オブジェクト検出部３１がオブジェクトを検出した矩形領域ＲＲから、ＣＮＮにより視覚的特徴量Ｉ１を抽出する処理についても示している。
【００４７】
類似度算出部８４２は、第一の特徴量ベクトルと第二の特徴量ベクトルとの類似度を算出するものである。上述したように、実施の形態１においては、類似度としてユークリッド距離を用いる。
【００４８】
類似度判定部８４３は、類似度算出部８４２が算出した類似度に基づいて、第一のオブジェクトと第二のオブジェクトが同一か否かを判定するものである。第一のオブジェクトと第二のオブジェクトが同一であるとき小さくなるような類似度、例えば、ユークリッド距離を類似度として用いる場合には、類似度判定部８４３は、類似度算出部８４２が算出した類似度が所定の閾値以下の場合に、第一のオブジェクトと第二のオブジェクトが同一であると判定する。逆に、第一のオブジェクトと第二のオブジェクトが同一であるとき大きくなるような類似度、例えば、コサイン類似度を類似度として用いる場合には、類似度判定部８４３は、類似度算出部８４２が算出した類似度が所定の閾値以上の場合に、第一のオブジェクトと第二のオブジェクトが同一であると判定する。また、閾値は外部機器２００から設定するようにしてもよいし、閾値含めて機械学習で学習するようにしてもよい。
【００４９】
次に、実施の形態１における画像処理装置１００のハードウェア構成について説明する。画像処理装置１００の各機能は、コンピュータにより実現される。図６は、画像処理装置１００を実現するコンピュータのハードウェア構成の例を示す構成図である。
図６に示したハードウェアには、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の処理装置１００００と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やハードディスク等の記憶装置１０００１が備えられる。
図１に示す、受信部１、復号部２、画像認識部３、記述子生成部４、データ記録制御部５、インターフェース部７、及び画像照合部８は、記憶装置１０００１に記憶されたプログラムが処理装置１００００で実行されることにより実現され、記憶部６は記憶装置１０００１により実現される。
また、画像処理装置１００の各機能を実現する方法は、上記したハードウェアとプログラムの組み合わせに限らず、処理装置にプログラムをインプリメントしたＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のような、ハードウェア単体で実現するようにしてもよいし、一部の機能を専用のハードウェアで実現し、一部を処理装置とプログラムの組み合わせで実現するようにしてもよい。
【００５０】
実施の形態１における画像処理装置１００、及び画像処理システム１０００は、上記のように構成される。
次に、画像処理装置１００及び画像処理システム１０００の動作について、画像記憶処理と画像照合処理に分けて説明する。ここで、画像処理装置１００の動作が画像処理方法であり、当該画像処理方法をコンピュータに実行させるプログラムが画像処理プログラムである。
【００５１】
まず、画像記憶処理について、図７を参照しながら説明する。
図７は、実施の形態１における画像処理装置１００の画像記憶処理を示すフローチャートである。
【００５２】
まず、ステップＳ１において、受信部１は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから配信データを受信して画像データを分離し、画像データを復号部２に出力する。
【００５３】
ステップＳ２で、復号部２は、ステップＳ１で分離した画像データを復号し、画像認識部３に出力する。
【００５４】
ステップＳ３で、画像認識部３が有するオブジェクト検出部３１は、復号された画像データに現れるオブジェクトの検出を試みる。ここで、検出対象となるオブジェクトは、自動車、自転車および歩行者など、追跡対象の動くオブジェクトとする。
ステップＳ４で、オブジェクト検出部３１は、オブジェクトを検出したか否か判定を行う。オブジェクトを検出しなかった場合（ステップＳ４；ＮＯ）、フローチャートはステップＳ１の処理に戻り、一方、オブジェクトを検出した場合（ステップＳ４；ＹＥＳ）、フローチャートはステップＳ５の処理に進む。ここで、ステップＳ３とステップＳ４をまとめてオブジェクト検出工程とする。
【００５５】
ステップＳ５の視覚的特徴量抽出工程で、視覚的特徴量抽出部３２は、オブジェクト検出部３１がオブジェクトを検出した矩形領域の画像データを入力として、オブジェクトの視覚的特徴量を抽出する。視覚的特徴量の抽出にはＣＮＮを用いることができる。視覚的特徴量抽出部３２は、抽出したオブジェクトの視覚的特徴量をオブジェクト追跡部３４に出力する。
【００５６】
ステップＳ６の物理的特徴量推定工程で、物理的特徴量推定部３３は、オブジェクト検出部３１がオブジェクトを検出した矩形領域に基づいて、オブジェクトの物理的特徴量を推定し、推定結果をオブジェクト追跡部３４に出力する。
ここで、ステップＳ５とステップＳ６の動作は同時に行うようにしてもよいし、どちらかの動作を先に行うようにしても良い。
【００５７】
ステップＳ７で、オブジェクト追跡部３４は、オブジェクトの画像データを参照し、１つの画像フレーム内で検出された各オブジェクトに対してそれぞれ異なるＩＤを付与する。また、ステップＳ８で、オブジェクト追跡部３４は、検出された各オブジェクトについて、動き情報を抽出する。
【００５８】
ステップＳ９で、オブジェクト追跡部３４は、ステップＳ５で取得したオブジェクトの視覚的特徴量、ステップＳ６で取得したオブジェクトの物理的特徴量、及びステップＳ８で抽出したオブジェクトの動き情報を参照し、オブジェクト検出部３１で検出したオブジェクトと、当該オブジェクトと時間的に連続した過去の画像フレームから検出されたオブジェクトとが、同一であるか否か判定を行う。オブジェクトが同一でないと判定した場合（ステップＳ９；ＮＯ）、ステップＳ１１の処理に進む。一方、オブジェクトが同一であると判定した場合（ステップＳ９；ＹＥＳ）、ステップＳ１０の処理に進み、オブジェクト追跡部３４は、ステップＳ７で付与したＩＤを、同一である過去のオブジェクトに付与されたＩＤで書き換える。
【００５９】
ステップＳ１１で、オブジェクト追跡部３４は、オブジェクト検出部３１から入力された全てのオブジェクトに対して処理を行ったか否か判定を行う。全てのオブジェクトに対して処理を行っていない場合（ステップＳ１１；ＮＯ）、フローチャートはステップＳ８の処理に戻る。一方、全てのオブジェクトに対して処理を行った場合（ステップＳ１１；ＹＥＳ）、オブジェクト追跡部３４はオブジェクトのＩＤおよびオブジェクトの動き情報を記述子生成部４に出力する。
【００６０】
ステップＳ１２で、記述子生成部４は、入力されたオブジェクトの視覚的特徴量、オブジェクトの物理的特徴量、ネットワークカメラＮＣの位置情報および撮像時刻、オブジェクトのＩＤおよびオブジェクトの動き情報に基づいて、特徴記述子を生成する。記述子生成部４は、生成した特徴記述子をデータ記録制御部５に出力する。
【００６１】
ステップＳ１３で、データ記録制御部５は、ステップＳ１２で生成された特徴記述子と、ステップＳ２で復号された画像データとを関連付けて記憶部６に格納する制御を行い、記憶部６は入力された画像データと特徴記述子とを記憶する。以上で、画像処理装置１００は画像記憶処理を終了する。
【００６２】
次に、画像処理装置１００の画像照合処理について、図８を参照しながら説明する。
図８は、実施の形態１における画像処理装置１００の画像照合処理の動作を示すフローチャートである。
【００６３】
まず、ステップＳ２１で、画像処理装置１００のユーザーにより外部機器２００を介して検索条件が設定される。画像取得部８１は、検索条件が設定されると、当該検索条件で検索を行うことを決定する。
【００６４】
ステップＳ２２で、画像取得部８１は、インターフェース部７を介して外部機器２００から設定された検索条件に基づいて、記憶部６内の検索を行う。すなわち、画像取得部８１は、オブジェクトの特徴記述子等に基づき、設定された検索条件と一致するオブジェクトを検索し、オブジェクトの絞り込みを行う。
【００６５】
ステップＳ２３で、画像取得部８１は、それぞれ異なる画像データに現れるオブジェクトのペアを１組以上見つけたか判定を行う。オブジェクトのペアを見つけられなかった場合（ステップＳ２３；ＮＯ）、画像処理装置１００は処理を終了する。一方、オブジェクトのペアを１組以上見つけた場合（ステップＳＴ２３；ＹＥＳ）、処理はステップＳ２４に進む。
【００６６】
ステップＳ２４で、画像取得部８１は、記憶部６から検索した１組以上のオブジェクトのペアのそれぞれに対応付けられた画像データと特徴記述子を読み出し、取得する。ここでは、１組のオブジェクトのペアに関する画像データと特徴記述子とを取得した場合について説明するが、２組以上取得した場合においても、以下の処理は同様である。画像取得部８１は、読み出した画像データおよび特徴記述子を視覚的特徴量取得部８２及び物理的特徴量取得部８３に出力する。実施の形態１において、画像取得部８１は、検索条件に合致した第一の画像データ及び第一の特徴記述子と、第二の画像データ及び第二の特徴記述子を取得し、それらを視覚的特徴量取得部８２及び物理的特徴量取得部８３に出力する。ここで、ステップＳ２１からステップＳ２４までのステップをまとめて画像取得工程とする。
【００６７】
ステップＳ２５の視覚的特徴量取得工程で、視覚的特徴量取得部８２は、特徴記述子から、取得した画像データにおけるオブジェクトの視覚的特徴量を取得する。
実施の形態１において、視覚的特徴量取得部８２は、第一の画像データにおける第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データにおける第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する。
【００６８】
ステップＳ２６物理的特徴量取得工程で、物理的特徴量取得部８３は、特徴記述子からオブジェクトの物理的特徴量を取得する。
実施の形態１において、物理的特徴量取得部８３は、第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する。
ステップＳ２５とステップＳ２６の動作は、同時に行うようにしてもよいし、どちらかの動作を先に行うようにしてもよい。
【００６９】
ステップＳ２７の特徴量ベクトル取得工程で、特徴量ベクトル取得部８４１は、ステップＳ２５及びステップＳ２６で取得したオブジェクトの視覚的特徴量と物理的特徴量を学習済みの機械学習モデルに入力し、当該学習済みの機械学習モデルにオブジェクトの特徴量ベクトルを出力させることにより、特徴量ベクトルを取得する。
実施の形態１において、特徴量ベクトル取得部８４１は、学習済みの機械学習モデルの入力として、第一の視覚的特徴量と第一の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、学習済みの機械学習モデルの入力として、第二の視覚的特徴量と第二の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する。ここで、第一の特徴量ベクトルと第二の特徴量ベクトルの取得はどちらを先に行ってもよく、あるいは、同時に行ってもよい。
【００７０】
ステップＳ２８の類似度算出工程で、類似度算出部８４２は、ステップＳ２５で抽出された特徴量ベクトル間の類似度を算出する。具体的には、類似度算出部８４２は、第一の特徴量ベクトルと第二の特徴量ベクトルとの類似度を算出する。実施の形態１では、類似度算出部８４２は、類似度としてユークリッド距離を算出する。
【００７１】
ステップＳ２９の類似度判定工程で、類似度判定部８４３は、類似度算出工程で算出された類似度に基づいて、オブジェクトのペアが同一であるか否か判定を行う。具体的には、類似度判定部８４３は、類似度算出部が算出した類似度が所定の閾値以下の場合に、第一の画像データに現れる第一のオブジェクトと、第二の画像データに現れる第二のオブジェクトが同一のオブジェクトであると判定する。
【００７２】
ステップＳ３０で、類似度判定部８４３は、ステップＳ２７の判定結果を、バッファ等に格納し、インターフェース部７を介して外部機器２００に出力し、画像処理装置は処理を終了する。外部機器２００が表示機器を備える場合には、表示機器が判定結果を表示するようにしてもよい。また、ステップＳ３０において、二つのオブジェクトが同一であった場合、二つのオブジェクトのＩＤを統一し、ＩＤ統一後の特徴記述子を記憶部６に記憶させる処理を加えてもよい。
【００７３】
以上のような動作により、実施の形態1に係る画像処理装置１００は、視覚的特徴量の次元数を合わせるために画像データをリサイズしてから視覚的特徴量を抽出するようにしているが、複数の画像データに現れるオブジェクトが同一であるか否かを判定する際に、上記視覚的特徴量だけでなく、オブジェクトの物理的特徴量も用いることにより、実際の大きさが異なるオブジェクトを同一のオブジェクトであると誤判定してしまう可能性を低減することができる。
また、実施の形態１においては、画像データをリサイズしてから視覚的特徴量を抽出するようにしたが、リサイズをしない場合においても、より一般に、視覚的特徴量だけでなく、物理的特徴量も用いることにより、実際の大きさが異なるオブジェクトを同一のオブジェクトであると誤判定してしまう可能性を低減する、すなわち、より適切に複数の画像データに現れるオブジェクトが同一か判定することができる。
【００７４】
また、実施の形態１における画像処理装置１００は、学習済みの機械学習モデルの入力として、第一の視覚的特徴量と第一の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第一のオブジェクトの特徴量ベクトルである第一の特徴量ベクトルを取得し、かつ、学習済みの機械学習モデルの入力として、第二の視覚的特徴量と第二の物理的特徴量とを入力し、学習済みの機械学習モデルの出力として、第二のオブジェクトの特徴量ベクトルである第二の特徴量ベクトルを取得する特徴量ベクトル取得部８４１を備えたので、オブジェクトの視覚的特徴量とオブジェクトの物理的特徴量とを複合的に考慮した特徴量ベクトルを得ることができる。
また、特徴量ベクトル取得部８４１は、学習済みの機械学習モデルを用いて、特徴量ベクトルを取得するようにしたので、単に視覚的特徴量と物理的特徴量のそれぞれを成分に持つベクトル、すなわち視覚的特徴量がｎ次元であり、物理的特徴量がｍ次元だった場合に、それらを単に結合した（ｎ＋ｍ）次元のベクトルをオブジェクトの比較に用いるよりも、画像処理装置１００の設計者の負担を軽減しつつ、精度よくオブジェクトの照合を行うことができる。例えば、単に視覚的特徴量と物理的特徴量とを結合し、それらを成分にもつベクトルを生成した場合には、視覚的特徴量と物理的特徴量は別の次元を持つ量であるので、結合後の二つのベクトル間の距離をどのように測れば、適切にオブジェクトの比較を行うことができるか定かではない。すなわち、単に視覚的特徴量と物理的特徴量を単に結合するだけだと、実験等を重ねて距離を適切に測ることができるルールを画像処理装置１００の設計者等が設定しなければならないが、学習済みの機械学習モデルを用いて特徴量ベクトルを算出するようにすれば、設計者が設定した距離の定義に合わせてベクトルを変換し、特徴量ベクトルを出力してくれるので、画像処理装置１００の設計者の作業負担を軽減することができる。
【００７５】
また、実施の形態１における画像処理装置１００は、第一の画像データと第二の画像データとを取得する画像取得部８１と、第一の画像データから第一のオブジェクトを検出し、第一のオブジェクトを検出した第一の画像データが示す画像内の領域を第一の検出領域データとして出力するオブジェクト検出部３１と、オブジェクト検出部３１から第一の検出領域データが入力され、第一の検出領域データから第一の視覚的特徴量を抽出する視覚的特徴量抽出部３２をさらに備えたので、第一の画像データに第一視覚的特徴量があらわに含まれない場合でも、視覚的特徴量抽出部３２が第一の画像データから視覚的特徴量を抽出することにより、オブジェクトの照合を行うことができる。
【００７６】
また、実施の形態１における画像処理装置１００は、オブジェクト検出部３１から第一の検出領域データが入力され、第一の検出領域データから第一の物理的特徴量を推定する物理的特徴量推定部３３をさらに備えたので、第一の画像データに第一の物理的特徴量があらわに含まれない場合でも、物理的特徴量推定部３３が第一の画像データから物理的特徴量を推定することにより、オブジェクトの照合を行うことができる。
【００７７】
また、実施の形態１における画像処理装置１００は、第一の画像データと、第一のオブジェクトの第一の画像データにおける特徴を示す特徴記述子であり、第一の視覚的特徴量を含む第一の特徴記述子とを対応付けて記憶する記憶部６をさらに備え、視覚的特徴量取得部８２は、記憶部６に記憶された第一の特徴記述子に含まれる第一の視覚的特徴量を取得するようにしたので、画像照合処理において、第一の画像データから第一の視覚的特徴量を抽出する処理を行わなくても良く、計算量を減らすことができる。
【００７８】
また、実施の形態１における画像処理装置１００が備える記憶部６は、第一の視覚的特徴量と第一の物理的特徴量とを含む第一の特徴記述子を記憶し、物理的特徴量取得部８３は、記憶部６に記憶された第一の特徴記述子に含まれる第一の物理的特徴量を取得するようにしたので、画像照合処理において、第一の画像データから第一の物理的特徴量を推定する処理を行わなくても良く、計算量を減らすことができる。
【００７９】
以下で、実施の形態１における画像処理装置１００の変形例について説明する。
【００８０】
上記において、第一の画像データと第二の画像データがそれぞれ異なるネットワークカメラ（ネットワークカメラＮＣ１とネットワークカメラＮＣ２）で撮像された場合について、説明したが、第一の画像データと第二の画像データは同じネットワークカメラＮＣで撮像された画像データであってもよい。例えば、追跡処理のように時間的に連続したフレームに対する比較に対して画像照合処理を行っても良いし、時間的に離れたフレームに対して画像照合処理を行っても良い。
【００８１】
画像照合処理において、画像取得部８１は、オブジェクトのペアを記憶部６から検索するようにしたが、検索条件として画像データを外部機器２００から入力し、当該画像データに現れるオブジェクトと同一のオブジェクトを検索したい場合には、オブジェクトのペアの片方として入力した画像データに現れるオブジェクトを含めるものとする。また、検索条件として画像データを入力する場合、外部機器２００から入力するのではなく、ネットワークカメラＮＣによりリアルタイムで撮像された画像データを復号部２から直接入力するようにしてもよい。
また、単に２つの画像データに現れるオブジェクトが同一か否かを判定したい場合や、事前に複数の画像データを収集している場合は、記憶部６の検索は行わず、外部機器２００から入力した画像データに現れるオブジェクト同士の照合を行うようにしてもよい。
【００８２】
上記したように、画像取得部８１は、第一の画像データと第二の画像データを同じ方法で取得しなくてもよい。例えば、第一の画像データは外部機器２００から取得し、第二の画像データは記憶部６から取得するようにしてもよい。また、画像データの取得と同様に、視覚的特徴量の取得及び物理的特徴量の取得についても、第一の視覚的特徴量と第二の視覚的特徴量、また、第一の物理的特徴量と第二の物理的特徴量は、それぞれ同じ方法で取得する必要はない。例えば、第一の視覚的特徴量は視覚的特徴量抽出部３２から取得し、第二の視覚的特徴量は記憶部６から取得するようにしてもよい。同様に、第一の物理的特徴量は物理的特徴量推定部３３から取得し、第二の物理的特徴量は記憶部６から取得するようにしてもよい。
【産業上の利用可能性】
【００８３】
本発明に係る画像処理装置は、例えば、監視システムや画像検索システムに用いられるのに適している。
【符号の説明】
【００８４】
１００  画像処理装置、１０００  画像処理システム、１  受信部、２  復号部、３  画像認識部、３１  オブジェクト検出部、３２  視覚的特徴量抽出部、３３  物理的特徴量推定部、３４  オブジェクト追跡部、４  記述子生成部、５  データ記録制御部、６  記憶部、７  インターフェース部、８  画像照合部、８１  画像取得部、８２  視覚的特徴量取得部、８３  物理的特徴量取得部、８４  判定部、８４１  特徴量ベクトル取得部、８４２  類似度算出部、８４３  類似度判定部、２００  外部機器。
【要約】
複数の画像データに現れるオブジェクトが同一であるか否かを判定する際に、実際の大きさが異なるオブジェクトを同一のオブジェクトであると誤判定してしまう可能性を低減する画像処理装置を得る。
画像処理装置において、第一の画像データに現れる第一のオブジェクトの視覚的特徴量である第一の視覚的特徴量と、第二の画像データに現れる第二のオブジェクトの視覚的特徴量である第二の視覚的特徴量とを取得する視覚的特徴量取得部と、第一のオブジェクトの物理的特徴量である第一の物理的特徴量と、第二のオブジェクトの物理的特徴量である第二の物理的特徴量とを取得する物理的特徴量取得部と、学習済みの機械学習モデルを用いて、第一の視覚的特徴量と、第一の物理的特徴量と、第二の視覚的特徴量と、第二の物理的特徴量とから、第一のオブジェクトと第二のオブジェクトが同一のオブジェクトであるか否かを判定する判定部と、を備えた。【図１】
0006829412.tif 000002
【図２】
0006829412.tif 000003
【図３】
0006829412.tif 000004
【図４】
0006829412.tif 000005
【図５】
0006829412.tif 000006
【図６】
0006829412.tif 000007
【図７】
0006829412.tif 000008
【図８】
0006829412.tif 000009