(57)【要約】【課題】撮影方向や人物の姿勢によらずに、高速に、画像から人物を同定できる。【解決手段】姿勢類似度算出部３２が、入力画像に写る人物の各関節位置座標と、各参照画像に写る人物の各関節位置座標とに基づいて、姿勢類似度を算出し、姿勢類似度に基づいて、人物ＩＤの参照画像のうち尤もらしい参照画像を出力する。人物類似度算出部３６が、人物ＩＤ毎に、人物特徴抽出部３４により抽出された特徴量と、姿勢類似度算出部３２によって出力された当該人物ＩＤの尤もらしい参照画像の特徴量と、姿勢類似度算出部３２によって当該人物ＩＤの尤もらしい参照画像について算出された姿勢類似度とに基づいて、入力画像に写る人物と当該人物ＩＤの人物との人物類似度を算出し、人物ＩＤ毎に算出された人物類似度とに基づいて、人物ＩＤのうち、尤もらしい人物の人物ＩＤを出力部５０に出力する。【選択図】図１
2017097549.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に写る人物の姿勢と、予め人物毎に登録された、前記人物の姿勢が異なる各参照画像に写る前記人物の姿勢との姿勢類似度、前記入力画像の特徴量、及び前記人物毎の前記参照画像の特徴量に基づいて、前記入力画像に写る人物と、登録された人物とを照合し、前記登録された人物のうち尤もらしい人物を出力する演算部を含む画像処理装置。
【請求項２】
前記演算部は、人物ＩＤ姿勢データベースと、姿勢類似度算出部とを含み、
前記人物ＩＤ姿勢データベースには、前記登録された人物の人物ＩＤ毎に前記人物が撮影された各参照画像と、各参照画像に写る前記人物の姿勢を表す各関節位置座標とが格納されており、
前記姿勢類似度算出部は、前記人物ＩＤ毎に、予め推定された前記入力画像に写る人物の姿勢を表す各関節位置座標と、前記人物ＩＤ姿勢データベースに格納された前記人物ＩＤの各参照画像に写る人物の各関節位置座標とに基づいて、前記人物ＩＤの各参照画像について、前記入力画像に写る人物の姿勢と、前記参照画像に写る人物の姿勢との姿勢類似度を算出し、前記人物ＩＤ毎に、前記人物ＩＤの各参照画像について算出された姿勢類似度に基づいて、前記人物ＩＤの参照画像のうち尤もらしい参照画像を出力する請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、更に、人物ＩＤ特徴データベースと、人物特徴抽出部と、人物類似度算出部とを含み、
前記人物ＩＤ特徴データベースには、前記登録された人物の人物ＩＤ毎に前記人物が撮影された各参照画像と、各参照画像の特徴量とが格納されており、
前記人物特徴抽出部は、前記入力画像に写る人物を表す領域から特徴量を抽出し、
前記人物類似度算出部は、前記人物ＩＤ毎に、前記人物特徴抽出部により抽出された特徴量と、前記姿勢類似度算出部によって出力された前記人物ＩＤの尤もらしい参照画像について前記人物ＩＤ特徴データベースに格納された前記参照画像の特徴量と、前記姿勢類似度算出部によって前記人物ＩＤの尤もらしい参照画像について算出された前記姿勢類似度とに基づいて、前記入力画像に写る人物と前記人物ＩＤの人物との人物類似度を算出し、前記人物ＩＤ毎に算出された人物類似度に基づいて、前記人物ＩＤのうち、尤もらしい人物の人物ＩＤを出力する請求項２に記載の画像処理装置。
【請求項４】
演算部が、入力画像に写る人物の姿勢と、予め人物毎に登録された、前記人物の姿勢が異なる各参照画像に写る前記人物の姿勢との姿勢類似度、前記入力画像の特徴量、及び前記人物毎の前記参照画像の特徴量に基づいて、前記入力画像に写る人物と、登録された人物とを照合し、前記登録された人物のうち尤もらしい人物を出力するステップを含む画像処理方法。
【請求項５】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像から人物を同定するための画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年監視カメラの普及により、複数のカメラ間に写る同一人物を自動で紐づける人物同定技術が必要とされている。高精度な人物同定技術が実現されれば、監視映像に写る任意の人物を時間的、空間的な制約なしに追跡することが可能となり、不審人物の自動追跡やパブリックスペースにおける迷子の検索など産業上のニーズが非常に高い。
【０００３】
監視映像における人物解析に関して従来から盛んに技術開発が行われている。例えば特許文献１では単一カメラ内での人物の見え方（正面や側面等の見え方）と移動軌跡に対して時間的連続性を仮定することで、監視カメラのような低解像度の動画像においても人物の追跡を可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４３０４９２号公報
【非特許文献】
【０００５】
【非特許文献１】Yang, Yi, and Deva Ramanan. "Articulated human detection with flexible mixtures of parts." Pattern Analysis and Machine Intelligence, IEEE Transactions on 35.12 (2013): 2878-2890.
【非特許文献２】Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Vol. 1. IEEE, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら異なるカメラ間で人物の同定を試みる場合、背景や照明環境など人物の周辺環境は大きく変化する場合が多く、人物の見え方の一貫性を仮定することは困難である。さらにカメラの配置によっては同一人物であっても別方向から撮影される場合もあり、複数カメラ間での人物同定は単一カメラ内のそれと比較してより難易度の高い問題設定となっている。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、撮影方向や人物の姿勢によらずに、高速に、画像から人物を同定できる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係る画像処理装置は、入力画像に写る人物の姿勢と、予め人物毎に登録された、前記人物の姿勢が異なる各参照画像に写る前記人物の姿勢との姿勢類似度、前記入力画像の特徴量、及び前記人物毎の前記参照画像の特徴量に基づいて、前記入力画像に写る人物と、登録された人物とを照合し、前記登録された人物のうち尤もらしい人物を出力する演算部を含んで構成されている。
【０００９】
また、第１の発明に係る画像処理装置において、前記演算部は、人物ＩＤ姿勢データベースと、姿勢類似度算出部とを含み、前記人物ＩＤ姿勢データベースには、前記登録された人物の人物ＩＤ毎に前記人物が撮影された各参照画像と、各参照画像に写る前記人物の姿勢を表す各関節位置座標とが格納されており、前記姿勢類似度算出部は、前記人物ＩＤ毎に、予め推定された前記入力画像に写る人物の姿勢を表す各関節位置座標と、前記人物ＩＤ姿勢データベースに格納された前記人物ＩＤの各参照画像に写る人物の各関節位置座標とに基づいて、前記人物ＩＤの各参照画像について、前記入力画像に写る人物の姿勢と、前記参照画像に写る人物の姿勢との姿勢類似度を算出し、前記人物ＩＤ毎に、前記人物ＩＤの各参照画像について算出された姿勢類似度に基づいて、前記人物ＩＤの参照画像のうち尤もらしい参照画像を出力するようにしてもよい。
【００１０】
また、第１の発明に係る画像処理装置において、前記演算部は、更に、人物ＩＤ特徴データベースと、人物特徴抽出部と、人物類似度算出部とを含み、前記人物ＩＤ特徴データベースには、前記登録された人物の人物ＩＤ毎に前記人物が撮影された各参照画像と、各参照画像の特徴量とが格納されており、前記人物特徴抽出部は、前記入力画像に写る人物を表す領域から特徴量を抽出し、前記人物類似度算出部は、前記人物ＩＤ毎に、前記人物特徴抽出部により抽出された特徴量と、前記姿勢類似度算出部によって出力された前記人物ＩＤの尤もらしい参照画像について前記人物ＩＤ特徴データベースに格納された前記参照画像の特徴量と、前記姿勢類似度算出部によって前記人物ＩＤの尤もらしい参照画像について算出された前記姿勢類似度とに基づいて、前記入力画像に写る人物と前記人物ＩＤの人物との人物類似度を算出し、前記人物ＩＤ毎に算出された人物類似度に基づいて、前記人物ＩＤのうち、尤もらしい人物の人物ＩＤを出力するようにしてもよい。
【００１１】
第２の発明に係る画像処理方法は、演算部が、入力画像に写る人物の姿勢と、予め人物毎に登録された、前記人物の姿勢が異なる各参照画像に写る前記人物の姿勢との姿勢類似度、前記入力画像の特徴量、及び前記人物毎の前記参照画像の特徴量に基づいて、前記入力画像に写る人物と、登録された人物とを照合し、前記登録された人物のうち尤もらしい人物を出力するステップを含んで実行することを特徴とする。
【００１２】
第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る画像処理装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の画像処理装置、方法、及びプログラムによれば、入力画像に写る人物の姿勢と参照画像に写る人物の姿勢との姿勢類似度、入力画像の特徴量、及び人物毎の参照画像の特徴量とに基づいて、入力画像に写る人物と、登録された人物とを照合し、登録された人物のうち尤もらしい人物を出力することにより、撮影方向や人物の姿勢によらずに、高速に、画像から人物を同定できる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】人物ＩＤ姿勢データベースと、関節位置座標を抽象化したモデルとの一例を示す図である。
【図３】本発明の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜本発明の実施の形態に係る概要＞
【００１７】
まず、本発明の実施の形態における概要を説明する。
【００１８】
同一人物であっても、正面から撮影された画像と横から撮影された画像とでは画像特徴量が大きく異なる。また同一方向から撮影された画像間であっても、着座している場合と起立している場合で画像特徴量は異なり同定が困難となる。すなわち画像処理によって人物同定を行う場合、入力画像に写る人物と、同一の姿勢及び方向で撮影された登録画像とを照合することが望ましい。
【００１９】
本発明の実施の形態に係る画像処理装置は、入力画像に写る人物と、参照画像に写る登録された人物とを照合する画像処理装置であって、入力画像の人物姿勢と人物毎に登録された各画像の人物との姿勢類似度を算出する姿勢類似度算出部と、算出された姿勢類似度と抽出した画像特徴とに基づいて入力画像に写る人物と登録された人物の類似度を算出し、算出された人物類似度に基づいて入力画像に写る人物と登録された人物とを照合する人物類似度算出部と、を備えることを特徴とする。
【００２０】
＜本発明の実施の形態に係る画像処理装置の構成＞
【００２１】
次に、本発明の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００２２】
入力部１０は、人物が写された入力画像を受け付ける。
【００２３】
演算部２０は、姿勢推定部３０と、姿勢類似度算出部３２と、人物特徴抽出部３４と、人物類似度算出部３６と、人物ＩＤ姿勢データベース４０と、人物ＩＤ特徴データベース４２とを含んで構成されている。
【００２４】
演算部２０に含まれる各部の処理によって、入力画像に写る人物の姿勢と、予め人物毎に登録された、人物の姿勢が異なる各参照画像に写る人物の姿勢との姿勢類似度、及び入力画像の特徴量と、人物毎の参照画像の特徴量との類似度に基づいて、入力画像に写る人物と、登録された人物とを照合し、登録された人物のうち尤もらしい人物を出力部５０に出力する。
【００２５】
姿勢推定部３０は、入力部１０で受け付けた入力画像に写る人物の姿勢を推定する。具体的には、人物の姿勢として、入力画像に写る人物の姿勢を表す各関節位置座標を推定し、姿勢類似度算出部３２、及び人物特徴抽出部３４に出力する。ここで、人物の姿勢とは、例えば人物の関節位置座標のベクトルや、正対時を基準とした人物の向いている角度や、起立・着席・歩行など動作ラベルなどで定義される。例えば、関節位置座標のベクトルが近しい場合、同一姿勢と判断することができる。本実施の形態においては、例えば非特許文献１に記載されている方法を用いて推定可能な人物の関節位置の座標ベクトルを用いるものとする。なお、姿勢を推定する前処理として非特許文献２に記載されている方法よって入力画像に対して人物検出を行い、検出された領域に対して姿勢推定を行っても良い。
【００２６】
人物ＩＤ姿勢データベース４０には、登録された人物の人物ＩＤ毎に人物が撮影された各参照画像と、各参照画像に写る人物の姿勢を表す各関節位置座標とが格納されている。人物ＩＤ姿勢データベース４０は、図２の例に示すように、照合対象である人物の人物ＩＤ１、人物ＩＤ２、及び人物ＩＤ３に対して、単一の参照画像ないしは人物の姿勢が異なる複数の参照画像を持ち、人物ＩＤに各参照画像中の人物の関節位置座標が紐づいたデータベースとして構成される。本実施の形態では、関節位置座標は参照画像中の縦横の二次元で表現しているが、Ｄｅｐｔｈセンサを用いて奥行き方向も含めた三次元座標で表現しても良い。また関節位置座標は、例えば画像の原点を基準とした値から、関節位置座標から算出した重心を基準とした値に変換することで、参照画像中の人物の出現位置に依らない座標系としても良い。
【００２７】
姿勢類似度算出部３２は、人物ＩＤ姿勢データベース４０に格納された人物ＩＤ毎に、姿勢推定部３０で推定された入力画像に写る人物の各関節位置座標と、当該人物ＩＤの各参照画像に写る人物の各関節位置座標とに基づいて、当該人物ＩＤの各参照画像について、入力画像に写る人物の姿勢と、参照画像に写る人物の姿勢との姿勢類似度を算出する。そして、人物ＩＤ毎に、人物ＩＤの各参照画像について算出された姿勢類似度に基づいて、人物ＩＤの参照画像のうち尤もらしい参照画像を人物類似度算出部３６に出力する。
【００２８】
次に、姿勢類似度算出部３２における具体的な処理動作を説明する。姿勢推定部３０により推定した入力画像に写る人物の関節位置座標をＪｉｑ＝［ｘｉｑ，ｙｉｑ］とする。また人物ＩＤ姿勢データベース４０から取得した人物ＩＤの参照画像ｒの関節位置座標をＪｉｒ＝［ｘｉｒ，ｙｉｒ］とする。ここでｉは各関節を示すインデックスである。各人物ＩＤに対して次の（１）式により、最も姿勢類似度ｗｇが高い参照画像を候補画像Ｒｇとして出力する。
【００２９】
【数１】
2017097549.tif 000003
【００３０】
ここで||Ｊｉｑ−Ｊｉｒ||は関節位置座標間の距離であり、例えばユークリッド距離などで求めればよい。また図２のＩＤ１の参照画像３のように、関節が推定できなかった場合など、入力画像と参照画像で関節位置の数が異なる場合は、その参照画像は計算から除外するか、推定できなかった箇所の座標を他の座標値に比べて大きな値、例えば１００倍の値を代入して計算すればよい。さらに、こうして算出した各人物ＩＤｇの候補画像について、姿勢類似度ｗｇを求める。なお、以下（２）式の関数は、関節の角度と関節間の距離が近いほど類似度が高くなるような関数であるが、他にも、たとえば、関節の角度の類似度のみ、あるいは間接間の距離のみを用いるような関数としても良い。
【００３１】
【数２】
2017097549.tif 000004
【００３２】
人物特徴抽出部３４は、入力画像に写る人物を表す領域から特徴量を抽出する。具体的に、人物を表す領域は、例えば関節位置座標を包含する矩形とすればよい。入力画像から抽出する特徴量は例えば非特許文献２に記載されているＨＯＧ特徴量を用いるが、これに限定されるものではない。また、姿勢推定部３０で人物検出処理を行っている場合には、その検出結果を用いて矩形領域を定めればよい。
【００３３】
人物ＩＤ特徴データベース４２には、登録された人物の人物ＩＤ毎に人物が撮影された各参照画像と、各参照画像の特徴量とが格納されている。つまり、上記人物ＩＤ姿勢データベース４０の関節位置座標を特徴量に置き換えた構成である。人物ＩＤ特徴データベース４２には、各人物ＩＤに紐づいた単一ないしは複数の参照画像に対する特徴量が登録されている。なお、人物ＩＤ特徴データベース４２に格納される特徴量は、人物特徴抽出部３４で特徴量を抽出する手法と同じ手法で抽出された特徴量（ＨＯＧ特徴量）である。
【００３４】
人物類似度算出部３６は、人物ＩＤ毎に、人物特徴抽出部３４により抽出された特徴量と、姿勢類似度算出部３２によって出力された当該人物ＩＤの尤もらしい参照画像について人物ＩＤ特徴データベース４２に格納された当該参照画像の特徴量と、姿勢類似度算出部３２によって当該人物ＩＤの尤もらしい参照画像について算出された姿勢類似度とに基づいて、入力画像に写る人物と当該人物ＩＤの人物との人物類似度を算出する。そして、人物ＩＤ毎に算出された人物類似度に基づいて、人物ＩＤのうち、尤もらしい人物の人物ＩＤを出力部５０に出力する。
【００３５】
次に、人物類似度算出部３６おける具体的な処理動作を説明する。まず姿勢類似度算出部３２で求めた各人物ＩＤｇの候補画像Ｒｇについて、候補画像Ｒｇの特徴量Ｆｇを人物ＩＤ特徴データベース４２から取得し、人物特徴抽出部３４から出力された入力画像の特徴量Ｆｑを取得する。これらの特徴量Ｆｇ、特徴量Ｆｑ、及び姿勢類似度ｗｇを用いて次の（３）式により、入力画像に写る人物に最も類似度が高い人物ＩＤを算出する。
【００３６】
【数３】
2017097549.tif 000005
【００３７】
ここで、||Ｆｑ−Ｆｇ||は特徴量間の距離であり、例えばユークリッド距離などで求めればよい。このように計算することで、特徴空間上での類似性、すなわち見た目の類似性と、人物姿勢の類似性を考慮した人物照合が可能である。
【００３８】
上記のように一般に画像における特徴量は高次元であり、距離計算の計算コストは高いため、本実施の携帯では姿勢類似度によって各人物ＩＤの参照画像を一つに絞ることで、人物類似度の計算を最小限にすることで高速化を実現している。しかしながら、全参照画像について姿勢類似度ｗｇを計算した上で、上記（３）式を実行し、人物の照合が可能であることは明らかである。特に人物の姿勢推定精度が低い場合は、参照画像を一つに絞らずに全参照画像に対して人物を照合した方が高精度を得られるため、計算時間や計算資源が潤沢にある場合は、このような実施法を選択することが望ましい。
【００３９】
＜本発明の実施の形態に係る画像処理装置の作用＞
【００４０】
次に、本発明の実施の形態に係る画像処理装置１００の作用について説明する。入力部１０において入力画像を受け付けると、画像処理装置１００は、図３に示す画像処理ルーチンを実行する。
【００４１】
まず、ステップＳ１００では、入力部１０において受け付けた入力画像に写る人物の姿勢を表す各関節位置座標を推定する。
【００４２】
ステップＳ１０２では、人物ＩＤ姿勢データベース４０に格納された人物ＩＤ毎に、ステップＳ１００で推定された入力画像に写る人物の各関節位置座標と、当該人物ＩＤの各参照画像に写る人物の各関節位置座標とに基づいて、当該人物ＩＤの各参照画像について、上記（２）式に従って、入力画像に写る人物の姿勢と、当該参照画像に写る人物の姿勢との姿勢類似度を算出する。
【００４３】
ステップＳ１０４では、人物ＩＤ毎に、ステップＳ１０２で人物ＩＤの各参照画像について算出された姿勢類似度に基づいて、上記（１）式に従って、人物ＩＤの参照画像のうち尤もらしい参照画像を出力する。
【００４４】
ステップＳ１０６では、入力部１０において受け付けた入力画像に写る人物を表す領域から特徴量を抽出する。
【００４５】
ステップＳ１０８では、人物ＩＤ毎に、上記（３）式に従って、ステップＳ１０６で抽出された特徴量と、ステップＳ１０４で出力された人物ＩＤの尤もらしい参照画像について人物ＩＤ特徴データベース４２に格納された参照画像の特徴量と、当該人物ＩＤの尤もらしい参照画像について算出された姿勢類似度とに基づいて、当該人物ＩＤの人物との人物類似度を算出する。
【００４６】
ステップＳ１１０では、ステップＳ１０８で人物ＩＤ毎に算出された人物類似度に基づいて、人物ＩＤのうち、尤もらしい人物の人物ＩＤを出力部５０に出力する。
【００４７】
以上説明したように、本発明の実施の形態に係る画像処理装置によれば、入力画像に写る人物の姿勢と、参照画像に写る人物の姿勢との姿勢類似度、入力画像の特徴量、及び人物毎の参照画像の特徴量に基づいて、入力画像に写る人物と、登録された人物とを照合し、登録された人物のうち尤もらしい人物を出力することにより、撮影方向や人物の姿勢によらずに、高速に、画像から人物を同定できる。
【００４８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４９】
例えば、姿勢類似度算出部３２での類似度算出結果によっては人物類似度算出部３６を用いずに、姿勢類似度算出部３２で最も類似度が高く算出された人物の人物ＩＤをそのまま判定結果として出力することとしても良い。例えば、類似度が予め定めた閾値以上の場合や、他の例としては、他の類似度算出結果との差や比率が予め定めた閾値以上の場合に人物ＩＤをそのまま判定結果として出力する。
【符号の説明】
【００５０】
１０   入力部
２０   演算部
３０   姿勢推定部
３２   姿勢類似度算出部
３４   人物特徴抽出部
３６   人物類似度算出部
４０   人物ＩＤ姿勢データベース
４２   人物ＩＤ特徴データベース
５０   出力部
１００ 画像処理装置
【図１】
2017097549.tif 000006
【図２】
2017097549.tif 000007
【図３】
2017097549.tif 000008